[論文レビュー] Improving Natural Language Processing Tasks with Human Gaze-Guided Neural Attention

Ekta Sood, Simon Tannert+2 more|arXiv (Cornell University)|Oct 15, 2020

Topic Modeling参考文献 85被引用数 32

ひとこと要約

この論文は、認知的読み取りモデルと実際の視線監視を組み合わせ、視線情報に基づく注意をNLPタスクに統合するハイブリッドText Saliency Model (TSM) を提案し、言い換え生成で強力な向上を、文要約で競争力のある結果を達成します。

ABSTRACT

A lack of corpora has so far limited advances in integrating human gaze data as a supervisory signal in neural attention mechanisms for natural language processing(NLP). We propose a novel hybrid text saliency model(TSM) that, for the first time, combines a cognitive model of reading with explicit human gaze supervision in a single machine learning framework. On four different corpora we demonstrate that our hybrid TSM duration predictions are highly correlated with human gaze ground truth. We further propose a novel joint modeling approach to integrate TSM predictions into the attention layer of a network designed for a specific upstream NLP task without the need for any task-specific human gaze data. We demonstrate that our joint model outperforms the state of the art in paraphrase generation on the Quora Question Pairs corpus by more than 10% in BLEU-4 and achieves state of the art performance for sentence compression on the challenging Google Sentence Compression corpus. As such, our work introduces a practical approach for bridging between data-driven and cognitive models and demonstrates a new way to integrate human gaze-guided neural attention into NLP tasks.

研究の動機と目的

• データ不足のため、NLPにおけるニューラル注意の監視として人間の視線を用いることの動機づけ。
• 認知的読書モデルを活用して合成データで視線に類似したサリエンシーを生成するハイブリッド Text Saliency Model (TSM) の提案。
• タスク固有の視線データを必要とせず、TSM の予測を注意機構に組み込むジョイントモデリングフレームワークの開発。
• ジョイントモデルを用いて言い換え生成と文要約で最先端または競合的な改善を示す。

提案手法

• ハイブリッドテキストサリエンシーモデル（TSM）は、BiLSTM埋め込み層とTransformerエンコーダを組み合わせて語レベルの固定時間を予測する。
• TSMはE-Z Reader認知モデルによって生成された合成データで事前学習し、ProvoおよびGECOコーパスの実データの視線を用いてファインチューニングされる。
• ジョイントモデリング手法はLuong注意機構を修正して注意スコアにTSM予測を掛け合わせ、タスク固有の損失でエンドツーエンド訓練を可能にする。
• 対象タスクは言い換え生成（Quoraデータセット）と文要約（Google Sentence Compressionデータセット）。
• TSMは平均二乗誤差で固定時間を予測するよう訓練され、その後ジョイント訓練中に特定の下流タスクへ適応される。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドな認知的/データ駆動型のテキストサリエンシーモデルは、NLPで神経注意を案内するのに適した視線の予測を生み出せるか？
• RQ2 TSM予測をタスク固有の注意層に組み込むことで、タスク固有の視線データを必要とせずに下流のNLP性能を改善できるか？
• RQ3 認知的視線シミュレーションでの事前学習と実視線でのファインチューニングは、ドメイン外データへの一般化にどのように影響するか？
• RQ4 ジョイント訓練中のTSMの適応は、言い換え生成と文要約の性能にどのような影響を与えるか？

主な発見

• TSMの時間的予測は、アウトオブドメインデータで人間の視線真値と相関する。
• TSM-attentionを用いたジョイントモデルは、Quoraでの言い換え生成においてBLEU-4でSOTAを10%以上上回る（47? not stated; ground truth shows BLEU-4 improvements to 28.82 from 17.9 in prior work with 100K data）し、文要約でも競争力のある結果を達成する（F1 ~85.0、CR ~0.39）。
• アブレーション研究は、No Fixation、Random TSM Init、TSM Weight Swap、Frozen TSMなどのバリエーションを常に上回り、サリエンシーのタスク固有適応を証拠づける。
• E-Z Reader合成データによる事前学習と実視線データでのファインチューニングは、特にProvoのような小規模データセットで、サリエンシー予測の指標（MSE、JSD、Spearman ρ）を大幅に改善する。
• ジョイント訓練中のTSMの適応は、注目分布をタスクごとに異なる形にし、人間のフォーカスにより近いタスク固有のサリエンシーを実現する。