[논문 리뷰] Improving Natural Language Processing Tasks with Human Gaze-Guided Neural Attention

Ekta Sood, Simon Tannert외 2명|arXiv (Cornell University)|2020. 10. 15.

Topic Modeling참고 문헌 85인용 수 32

한 줄 요약

이 논문은 인지 독서 모델과 실제 시선 감독을 결합하고 시선을 정보 attention에 통합하는 공동 학습 접근법을 제시하여 NLP 과제에서 시선 정보를 반영한 주의(attention)를 도입, 패러프레이즈 생성에서 강한 성과와 문장 압축에서도 경쟁력 있는 결과를 달성한다.

ABSTRACT

A lack of corpora has so far limited advances in integrating human gaze data as a supervisory signal in neural attention mechanisms for natural language processing(NLP). We propose a novel hybrid text saliency model(TSM) that, for the first time, combines a cognitive model of reading with explicit human gaze supervision in a single machine learning framework. On four different corpora we demonstrate that our hybrid TSM duration predictions are highly correlated with human gaze ground truth. We further propose a novel joint modeling approach to integrate TSM predictions into the attention layer of a network designed for a specific upstream NLP task without the need for any task-specific human gaze data. We demonstrate that our joint model outperforms the state of the art in paraphrase generation on the Quora Question Pairs corpus by more than 10% in BLEU-4 and achieves state of the art performance for sentence compression on the challenging Google Sentence Compression corpus. As such, our work introduces a practical approach for bridging between data-driven and cognitive models and demonstrates a new way to integrate human gaze-guided neural attention into NLP tasks.

연구 동기 및 목표

• 데이터 부족으로 인해 NLP에서 신경망 주의에 인간의 시선을 감독 신호로 사용하는 것을 고무한다.
• 인지적 독서 모델을 활용해 합성 데이터를 통해 시선 유사 살리언시를 생성하는 하이브리드 텍스트 살리언시 모델(TSM)을 제안한다.
• 작업 특정 시선 데이터 없이 하위 NLP 작업에 TSM 예측을 주의 메커니즘에 통합하는 공동 모델링 프레임워크를 개발한다.
• 공동 모델을 사용해 패러프레이즈 생성과 문장 압축에서 최신 성능 또는 경쟁력 있는 개선을 시연한다.]
• method:["하이브리드 텍스트 살리언시 모델(TSM)은 BiLSTM 임베딩 층과 Transformer 인코더를 결합해 단어 수준 고정 지속 시간을 예측한다.","TSM은 E-Z Reader 인지 모델이 생성한 합성 데이터로 사전 학습되고 Provo 및 GECO 말뭉치의 실제 시선 데이터로 미세 조정된다.","공동 모델링 접근 방식은 Luong 주의 메커니즘을 수정해 주의 점수를 TSM 예측값으로 곱하도록 하여 작업별 손실로 엔드투엔드 학습을 가능하게 한다.","연구 대상 상류 작업은 패러프레이즈 생성(Quora 데이터셋)과 문장 압축(Google Sentence Compression 데이터셋)이다.","TSM은 평균 제곱 오차로 고정 지속 시간을 예측하도록 학습된 후 공동 학습에서 특정 하류 작업에 맞게 조정된다."]
• research_questions:[

실험 결과

연구 질문

• RQ1 하이브리드 인지/데이터 기반 텍스트 살리언시 모델이 NLP에서 신경망 주의를 안내하기 위해 시선과 같은 예측을 생성할 수 있는가?
• RQ2 TSM 예측을 작업별 주의 계층에 통합하는 것이 작업 하류의 NLP 성능을 향상시키고 작업 특이적인 시선 데이터를 필요로 하지 않는가?
• RQ3 인지적 시선 시뮬레이션에 대한 사전 학습과 실제 시선 미세 조정이 도메인 외 데이터에 대한 일반화에 어떤 영향을 미치는가?
• RQ4 공동 학습 중 TSM의 적응이 패러프레이즈 생성 및 문장 압축 성능에 어떤 영향을 주는가?]
• RQ5 key_findings:[

주요 결과

• TSM 지속 시간 예측은 도메인 외 데이터에서 인간 시선 실제값과 상관관계가 있다.
• 공동 모델에 TSM-주의를 적용한 경우 Quora에서 패러프레이즈 생성의 최신 기술을 능가하며 BLEU-4에서 10% 이상 향상(47? 명시되지 않음; 이전 연구의 100K 데이터에서 17.9에서 28.82로 개선된 BLEU-4로 제시됨)하고 문장 압축에서도 경쟁력 있는 결과(F1 ~85.0, CR ~0.39)를 달성한다.
• 결과 제거 연구(Ablation)에서 전체 모델이 No Fixation, Random TSM Init, TSM Weight Swap, Frozen TSM 변형을 꾸준히 능가해 시선의 작업 특이 적응을 입증한다.
• E-Z Reader 합성 데이터로의 사전 학습과 실제 시선 데이터로의 미세 조정이 saliency 예측 지표(MSE, JSD, Spearman ρ)를 다양한 말뭉치에서 크게 향상시키며 특히 Provo처럼 작은 데이터셋에서 두드러진다.
• 공동 학습 중 TSM의 적응은 작업에 따라 주의 분포를 다르게 만들고 인간과 유사한 집중과 더 잘 일치하여 작업 특성화된 살리언시를 가능하게 한다.