[논문 리뷰] Entity Recognition at First Sight: Improving NER with Eye Movement Information

Nora Hollenstein, Ce Zhang|arXiv (Cornell University)|2019. 02. 26.

Topic Modeling참고 문헌 30인용 수 12

한 줄 요약

이 논문은 눈동자 움직임 데이터에서 유도된 시선 임베딩을 신경망 명명된 엔터티 인식(NER) 모델에 통합하여 성능 향상을 제안한다. 특히 어휘 유형 수준에서 집계된 눈동자 움직임 특징이 개인 및 교차 도메인 설정 모두에서 NER 성능을 유의미하게 향상시킨다. 주요 기여는 추론 시 실시간 눈동자 추적 데이터가 필요 없이도 효과적인 NER를 가능하게 하는 방법을 제시한 것으로, CoNLL-2003 벤치마크에서 F1 점수를 3% 향상시켰다.

ABSTRACT

Previous research shows that eye-tracking data contains information about the lexical and syntactic properties of text, which can be used to improve natural language processing models. In this work, we leverage eye movement features from three corpora with recorded gaze information to augment a state-of-the-art neural model for named entity recognition (NER) with gaze embeddings. These corpora were manually annotated with named entity labels. Moreover, we show how gaze features, generalized on word type level, eliminate the need for recorded eye-tracking data at test time. The gaze-augmented models for NER using token-level and type-level features outperform the baselines. We present the benefits of eye-tracking features by evaluating the NER models on both individual datasets as well as in cross-domain settings.

연구 동기 및 목표

• 인간 독서 중 발생하는 눈동자 움직임 신호가 신경망 기반 명명된 엔터티 인식(NER) 모델의 성능 향상에 기여하는지 조사하기.
• NER 연구를 위해 수작업으로 레이블링된 세 개의 눈동자 추적 코퍼스(지정된 엔터티 레이블 포함)를 구축하고 공개하기.
• 텍스트적 특징 외에 시선 임베딩을 통합하여 엔터티 인식 성능을 향상시키는 신경망 NER 아키텍처 개발하기.
• 어휘 유형 수준에서 일반화된 시선 특징이 추론 시 기록된 눈동자 추적 데이터가 없더라도 성능 저하 없이 대체 가능한지 탐색하기.
• 눈동자 추적 데이터가 없는 외부 벤치마크 데이터셋을 포함한 다양한 도메인 간 일반화 성능 평가하기.

제안 방법

• 저자들은 수작업으로 레이블링된 세 개의 눈동자 추적 코퍼스(Dundee, GECO, ZuCo)를 수집하여 공개 가능한 데이터셋을 구축한다.
• 각 토큰에 대해 기록된 시선 데이터에서 정지 지속 시간, 시선 지속 시간, 사카드 길이 등의 눈동자 추적 특징을 추출한다.
• 각 토큰 수준에서 문맥 기반 단어 표현(BERT 또는 유사 모델 등)과 시선 임베딩을 연결하여 신경망 NER 모델을 개선한다.
• 어휘 유형 수준에서 평균화된 시선 특징을 도입하여, 각 어휘 유형(예: 'Apple'이 인명 또는 기관으로 나타나는 모든 경우)에 대해 시선 통계치를 평균화함으로써 토큰 기반 시선 데이터 의존도를 감소시킨다.
• 수정된 코퍼스에서 교차 엔트로피 손실을 사용하여 모델을 미세조정하고, 도메인 내 및 도메인 외 테스트 세트에서 평가한다.
• 교차 도메인 평가는 하나 이상의 눈동자 추적 데이터셋에서 학습하고, 눈에 띄지 않는 데이터(예: CoNLL-2003 벤치마크 포함)에서 테스트하여 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 인간 독서에서 유도된 눈동자 움직임 신호가 최신 신경망 NER 모델의 성능 향상에 기여할 수 있는가?
• RQ2 어휘 유형 수준에서 일반화된 시선 특징이 테스트 시 토큰 기반 시선 데이터 없이도 성능 저하 없이 대체 가능한가?
• RQ3 눈동자 특징이 통합된 NER 모델은 눈동자 추적 데이터가 기록되지 않은 데이터셋에서도 얼마나 효과적인가? 특히 교차 도메인 설정에서의 성능은 어떻게 되는가?
• RQ4 어떤 명명된 엔터티 유형이 시선 임베딩 특징으로 가장 큰 도움을 받는가? 그 이유는 무엇인가?
• RQ5 시선 특징 통합이 정밀도보다 재현율을 더 크게 향상시키는가? 이는 언어적 신호의 성격에 대해 어떤 시사점을 갖는가?

주요 결과

• 시선 임베딩이 통합된 NER 모델은 세 개의 개별 눈동자 추적 코퍼스에서 모두 베이스라인을 초월하며, F1 점수에서 통계적으로 유의미한 향상이 이루어졌다.
• 눈동자 추적 데이터가 기록되지 않은 CoNLL-2003 벤치마크 코퍼스에서, 어휘 유형 수준에서 집계된 시선 특징을 사용한 모델은 F1 점수에서 3%p의 절대적 향상(63.92에서 66.61로)을 기록했다.
• 어휘 유형 수준에서 집계된 시선 특징을 사용한 모델에서 가장 뚜렷한 성능 향상이 관찰된 것은 가장 인식하기 어려운 엔터티 유형인 ORGANIZATION 클래스였다.
• 시선 임베딩이 통합된 모델의 재현율은 기존 베이스라인 대비 유의미하게 향상되었으며, 이는 시선 특징이 희귀하거나 모호한 엔터티를 더 많이 진짜 양성으로 탐지하는 데 기여함을 시사한다.
• CoNLL-2003 테스트 세트에서 20% 이상의 토큰이 시선 특징 값이 미지수였음에도 불구하고 모델은 뛰어난 성능을 유지하여 결측 시선 데이터에 대한 강건성을 입증했다.
• 어휘 유형 수준에서 집계된 시선 특징은 특히 교차 도메인 설정에서 매우 효과적이었으며, 새로운 도메인으로 일반화할 때 토큰 기반 시선 데이터에 의존하는 모델보다 뛰어난 성능을 보였다.