[논문 리뷰] Advancing NLP with Cognitive Language Processing Signals

Nora Hollenstein, Maria Barrett외 4명|arXiv (Cornell University)|2019. 04. 04.

Topic Modeling참고 문헌 49인용 수 34

한 줄 요약

이 논문은 시선추적(gaze) 및 EEG 신호가 여러 작업과 데이터 소스에 걸쳐 NLP 태스크를 일관되게 향상시킬 수 있는지와 신호를 결합하면 추가 이점이 있는지 여부를 조사한다.

ABSTRACT

When we read, our brain processes language and generates cognitive processing data such as gaze patterns and brain activity. These signals can be recorded while reading. Cognitive language processing data such as eye-tracking features have shown improvements on single NLP tasks. We analyze whether using such human features can show consistent improvement across tasks and data sources. We present an extensive investigation of the benefits and limitations of using cognitive processing data for NLP. Specifically, we use gaze and EEG features to augment models of named entity recognition, relation classification, and sentiment analysis. These methods significantly outperform the baselines and show the potential and current limitations of employing human language processing data for NLP.

연구 동기 및 목표

• 인지 처리 신호(시선 및 EEG)를 사용하여 단일 태스크, 단일 신호 설정을 넘어 NLP 성능을 향상시키는 동기를 제시한다.
• 여러 NLP 태스크(NER, 관계 분류, 감성 분석)와 데이터 소스에서의 향상 여부를 평가한다.
• 테스트 시 데이터 비의존적 접근 및 다중 작업 학습을 포함하여 모델에 신호를 통합하는 방법을 조사한다.
• 인지 신호가 NLP에 있어 실제성, 일반화 가능성 및 잠재적 한계를 평가한다.

제안 방법

• ZuCo 코퍼스를 이용하여 영어 문장 읽기 시 동시에 시선 추적 및 EEG 데이터를 활용한다.
• 시선 및 EEG 특징으로 NER, 관계 분류, 감성 분석의 최첨단 모델을 보강한다.
• 세 가지 통합 접근법을 탐색한다: 베이스라인에 특징 추가, 어휘 타입 집계 특징을 통한 테스트 시 무료 예측을 위한 특징 일반화, 인지 특징을 보조 과제로 활용한 다중 작업 학습.
• 시선/EEG 특징을 단어/토큰 임베딩과 정규화 및 정렬하고 이를 임베딩에 연결하여 다운스트림 모델에 제공한다.
• 광범위한 교차 검증 및 유의성 검정을 수행하여 향상 여부를 평가한다 (Bonferroni 보정이 적용된 치환 테스트).

실험 결과

연구 질문

• RQ1 시선 및 EEG 신호가 NER, 관계 분류, 감성 분석 태스크 전반에서 일관된 향상을 제공하는가?
• RQ2 시선과 EEG 신호를 결합하는 것이 각각의 신호를 단독으로 사용할 때보다 더 이로운가?
• RQ3 테스트 시 데이터 수집이 필요하지 않도록 인지 신호를 일반화할 수 있는가(타입 집계 특징)?
• RQ4 다중 작업 학습에서 보조 과제로 사용될 때 인지 신호의 영향은 어떤가?

주요 결과

• 인지 특징이 세 가지 NLP 태스크 모두에서 기준선 대비 일관된 향상을 가져온다.
• 시선 특징과 EEG 특징 각각 성능을 향상시키지만, 두 신호를 결합해도 최상의 단일 신호 결과를 능가하진 못한다.
• 타입 집계(단어 타입 수준) 특징은 테스트 시 실시간 인지 데이터가 필요 없이 성능을 향상시키며, 다만 EEG 타입 집계는 외부 코퍼스에서 혼합 효과를 보인다.
• 치환 기반 유의성 검정은 보정을 거친 후 대부분의 구성에서 향상이統계적으로 유의하게 나타남(11/12 구성).
• 단일 피실험자 모델이 일부 경우에서 평균 모델보다 우수할 수 있지만, 평균화가 종종 경쟁력 있는 결과와 강건성을 제공한다.