[논문 리뷰] ZuCo 2.0: A Dataset of Physiological Recordings During Natural Reading and Annotation

Nora Hollenstein, Marius Troendle외 2명|arXiv (Cornell University)|2019. 12. 02.

Text Readability and Simplification참고 문헌 27인용 수 29

한 줄 요약

ZuCo 2.0은 자연 독서와 영어 문장의 작업 지향적 주석 처리 중에 동시에 눈동자 움직임과 뇌파(EEG) 기록을 촬영한 18명의 참가자로부터 확보한 무료로 이용 가능한 데이터셋을 제공한다. 이는 수동 독서와 능동적 의미 주석 처리 간의 인지 처리를 직접 비교할 수 있게 하며, 주요 발견으로는 주석 처리 과정에서 더 적은 눈 정지 수와 더 빠른 독서 속도가 관찰되었고, EEG 데이터에서는 일관된 고정점 관련 전위 패턴이 나타났다.

ABSTRACT

We recorded and preprocessed ZuCo 2.0, a new dataset of simultaneous eye-tracking and electroencephalography during natural reading and during annotation. This corpus contains gaze and brain activity data of 739 sentences, 349 in a normal reading paradigm and 390 in a task-specific paradigm, in which the 18 participants actively search for a semantic relation type in the given sentences as a linguistic annotation task. This new dataset complements ZuCo 1.0 by providing experiments designed to analyze the differences in cognitive processing between natural reading and annotation. The data is freely available here: https://osf.io/2urht/.

연구 동기 및 목표

• 자연 독서와 의미 주석 처리 작업 중 눈동자 움직임과 뇌 활동을 동시에 촬영한 새로운 공개 데이터셋을 구축하기 위해.
• 수동 독서와 작업 기반 주석 처리 간의 인지 처리 차이를 비교 분석할 수 있도록 하기 위해.
• 신경인지 기반 생리 신호를 활용하여 NLP 모델의 개발 및 평가를 지원하기 위해.
• 기계 학습 모델의 훈련 및 검증을 위한 고품질의 사전 처리된 생리 신호 데이터를 제공하기 위해.
• 주석 처리 배경에 있는 인지 과정을 분석하여 인간 주석 처리 언어 데이터의 이해와 품질을 향상시키기 위해.

제안 방법

• 자연 독서와 의미 관계의 작업 지향적 주석 처리라는 두 가지 다른 독서 방식 중에서 눈동자 움직임과 EEG 데이터를 동시에 기록하였다.
• 위키피디아에서 유래한 총 739개의 영어 문장(자연 독서: 349개, 주석 작업: 390개)을 수집하였다.
• 표준화된 눈동자 움직임 지표(고정점 수, 지속시간, 건너뛰기 비율)와 EEG 사전 처리(필터링, 아티팩트 제거, 세그먼테이션)를 사용하였다.
• 고정점 시작 시점에 고정된 EEG 신호를 평균화하여 고정점 관련 전위(FRPs)를 계산하였으며, 이는 각 단어에 대한 뇌 반응 분석을 가능하게 하였다.
• 고정점 지속시간이 FRP 형태에 미치는 영향을 분석하기 위해 클러스터링 및 타임윈도우 스무딩 기법을 적용하였다.
• 참가자 수준의 지표(독서 속도, 생략 비율)를 활용한 데이터 품질 검증과 이전 코퍼스인 ZuCo 1.0 및 GECO와의 비교를 통해 데이터 품질을 검증하였다.

실험 결과

연구 질문

• RQ1 자연 독서와 의미 관계의 작업 지향적 주석 처리 간에 눈동자 움직임과 EEG 패턴은 어떻게 다를까?
• RQ2 작업 지향적 주석 처리가 수동 독서에 비해 고정점 수와 독서 시간을 얼마나 줄이는가?
• RQ3 고정점 관련 전위(FRPs)는 독서 조건 간의 인지 처리 차이를 신뢰성 있게 반영할 수 있는가?
• RQ4 두 독서 방식 간에 고정점 지속시간과 단어 수준의 건너뛰기 행동은 어떻게 달라지는가?
• RQ5 이 코퍼스의 생리 신호는 NLP 모델 및 주석 처리 과정의 개선 또는 평가에 얼마나 기여할 수 있는가?

주요 결과

• 참가자들은 작업 지향적 주석 처리 조건에서 자연 독서에 비해 유의미하게 더 적은 고정점을 기록했고, 독서 속도도 더 빠르게 나타났다(평균 속도: 문장당 4.81초, 자연 독서: 평균 5.84초).
• 건너뛰기 비율—즉, 고정점이 없는 단어의 비율—은 주석 작업 중에 증가하여 목표 지향적인 독서 행동이 더 효율적임을 반영한다.
• 고정점 관련 전위(FRPs)는 두 작업 모두에서 일관된 이단극성 양성 피크(약 100ms 및 이후에 피크, 지속시간에 따라 변동)를 보였으며, 신뢰할 수 있는 뇌 신호 품질을 확인하였다.
• EEG 데이터는 더 긴 고정점이 FRPs의 두 번째 양성 피크와 관련이 있음을 드러내었으며, 이는 이전 연구 결과와 일치하며 지속적인 인지 처리를 나타낸다.
• 이 코퍼스에는 의미 관계가 레이블링된 739개의 문장이 포함되어 있어 관계 추출 및 분류 작업에 직접 활용할 수 있다.
• 이 데이터셋은 https://osf.io/2urht/ 에 공개되어 있으며, 원본 및 사전 처리된 데이터, 스크립트, 상세한 참가자 수준 지표를 포함하고 있다.