[논문 리뷰] Reading Task Classification Using EEG and Eye-Tracking Data

Nora Hollenstein, Marius Tröndle외 5명|arXiv (Cornell University)|2021. 12. 12.

Cognitive Science and Mapping인용 수 5

한 줄 요약

이 연구는 ZuCo 데이터셋의 뇌파(EEG) 및 눈동자 추적 데이터를 사용하여 독서 작업—일반 독서 대비 작업 중심 정보 검색—을 분류한다. 문장 수준 및 단어 수준의 특징을 기반으로 한 기계학습을 통해 EEG 전극 특징(특히 감마 대역에서)이 높은 정확도를 달성한 반면, 눈동자 추적 및 평균 EEG 특징은 랜덤 수준을 略로 떨어지지 않아 EEG가 작업 중심 신경 패턴에 민감하며, 기록 세션 순서 효과가 있음을 시사한다.

ABSTRACT

The Zurich Cognitive Language Processing Corpus (ZuCo) provides eye-tracking and EEG signals from two reading paradigms, normal reading and task-specific reading. We analyze whether machine learning methods are able to classify these two tasks using eye-tracking and EEG features. We implement models with aggregated sentence-level features as well as fine-grained word-level features. We test the models in within-subject and cross-subject evaluation scenarios. All models are tested on the ZuCo 1.0 and ZuCo 2.0 data subsets, which are characterized by differing recording procedures and thus allow for different levels of generalizability. Finally, we provide a series of control experiments to analyze the results in more detail.

연구 동기 및 목표

• 기계학습이 EEG 및 눈동자 추적 데이터를 사용하여 독서 작업을 분류할 수 있는지 조사하는 것.
• EEG 및 눈동자 추적 모odalities에서 문장 수준 대비 단어 수준 특징의 성능을 비교하는 것.
• 작업 분류 모델의 내부 주체 및 교차 주체 일반화 성능을 평가하는 것.
• ZuCo 1.0 및 ZuCo 2.0에서 기록 세션 순서와 세션 편향이 분류 성능에 미치는 영향을 분석하는 것.
• 독서 중 작업 중심 인지 상태를 파악하는 데 생리적 신호의 강건성을 평가하는 것.

제안 방법

• EEG 및 눈동자 추적 데이터에서 추출한 집계된 문장 수준 및 세밀한 단어 수준 특징을 기반으로 모델을 훈련한다.
• 일반 독서와 작업 중심 독서 작업을 구분하기 위해 이진 분류를 수행한다.
• 모델 일반화 성능을 평가하기 위해 내부 주체 및 교차 주체 평가 시나리오를 사용한다.
• EEG 특징은 주파수 대역 전체에서 분석되며, 특히 감마 대역 활동에 중점을 둔다.
• 기록 블록 수를 점차 줄여가며 세션 순서 효과를 분리하기 위해 제어 실험과 아블레이션 연구를 수행한다.
• 혼동 행렬 및 블록 서브셋 간 성능 추세를 사용하여 모델 행동과 데이터 변동성을 분석한다.

실험 결과

연구 질문

• RQ1 기계학습 모델이 EEG 및 눈동자 추적 특징을 사용하여 일반 독서와 작업 중심 독서를 정확하게 분류할 수 있는가?
• RQ2 문장 수준 특징과 단어 수준 특징은 독서 작업을 구분하는 데 어떤 정도로 다른 성능을 보이는가?
• RQ3 교차 주체 일반화가 분류 성능에 얼마나 큰 영향을 미치는가?
• RQ4 기록 블록 순서가 모델 성능에 미치는 영향, 특히 EEG 데이터에서 어떤가?
• RQ5 어느 EEG 주파수 대역과 전극 위치가 정확한 작업 분류에 가장 기여하는가?

주요 결과

• EEG 전극 특징, 특히 감마 주파수 대역에서 높은 분류 정확도를 달성하여 눈동자 추적 및 평균 EEG 특징을 모두 앞서간다.
• 눈동자 추적 특징과 평균 EEG 특징은 블록 수준 분류에서 랜덤 수준을 略로 떨어지지 않아 세션 특화 패턴을 구분하는 데 제한된 분류 능력을 보인다.
• 혼동 행렬 분석 결과 EEG 기반 모델은 주로 인접한 기록 블록 간 오류를 범하며, 뇌 신호에 세션 관련 체계적 변동성이 있음을 시사한다.
• 아블레이션 연구에서 EEG 전극 특징을 사용한 분류 정확도는 더 많은 훈련 블록이 있을수록 뚜렷하게 향상되었으며, 이는 신경 데이터에 세션 순서 인코딩이 민감하게 작용함을 나타낸다.
• 반면 눈동자 추적 및 평균 EEG 특징은 추가 블록이 있어도 성능 향상이 미미하여 세션 특화 정보의 인코딩이 약하다는 것을 시사한다.
• 결과적으로 EEG 데이터는 작업 순서에 따라 배열된 강력한 신경 서명을 포함하고 있으며, 이를 활용해 작업 분류에 효과적으로 활용할 수 있으며, 반면 눈동자 추적 데이터는 이 목적에 덜 효과적임을 시사한다.