[論文レビュー] Improving Distant Supervision with Maxpooled Attention and Sentence-Level Supervision.

Iz Beltagy, Kyle Lo+1 more|arXiv (Cornell University)|Oct 30, 2018

Topic Modeling参考文献 36被引用数 4

ひとこと要約

本論文は、文単位の監視と新しいマックスプールドアテンションメカニズムを統合することで、関係抽出における遠隔教師あり学習を改善するマルチタスク学習フレームワークを提案する。文の符号化と関係を表現する入力を同時に学習することで、FB-NYTでAUCが0.284に向上し、先行研究のSOTA（最先端）比で10%の相対的改善を達成した。

ABSTRACT

We propose an effective multitask learning setup for reducing distant supervision noise by leveraging sentence-level supervision. We show how sentence-level supervision can be used to improve the encoding of individual sentences, and to learn which input sentences are more likely to express the relationship between a pair of entities. We also introduce a novel neural architecture for collecting signals from multiple input sentences, which combines the benefits of attention and maxpooling. The proposed method increases AUC by 10% (from 0.261 to 0.284), and outperforms recently published results on the FB-NYT dataset.

研究の動機と目的

• 文単位のアノテーションを統合することで、関係抽出における遠隔教師あり学習のノイズを低減すること。
• 文単位の監視を活用して文符号化を向上させること。
• 特定の関係を表現するのに最も情報量が多い入力文を特定する能力を学習すること。
• アテンションとマックスプールングを用いて複数の文からの信号を効果的に集約するニューラルアーキテクチャを設計すること。
• FB-NYTベンチマークデータセットで最先端の性能を達成すること。

提案手法

• 本手法は、文単位の監視と関係分類の両方を同時に最適化するマルチタスク学習の枠組みを採用する。
• 複数の文に対するアテンションとマックスプールングを組み合わせて顕著な特徴を抽出する、マックスプールドアテンションメカニズムを導入する。
• アーキテクチャは、特定の関係を表現するにあたり、各文の重要性を重みづけする能力を学習する。
• 文単位のラベルを用いて各文の符号化を監視することで、表現の質を向上させる。
• アテンションを適用した後、マックスプールングを適用することで、複数の文からの証拠を統合し、最も関連性の高い情報を捉える。
• フレームワークは、遠隔教師あり学習と文単位のラベルの両方を用いて、FB-NYTデータセット上でエンドツーエンドに訓練される。

実験結果

リサーチクエスチョン

• RQ1 文単位の監視は、遠隔教師あり学習における文表現の質を向上させることができるか？
• RQ2 アテンションとマックスプールングをどのように組み合わせれば、複数の文からの信号をより良く集約できるか？
• RQ3 文単位の監視を統合することで、関係抽出の性能が向上するか？
• RQ4 モデルは、特定の関係を表現する可能性が最も高い文を特定する能力を学習できるか？
• RQ5 本手法は、先行研究と比較してAUC性能にどのような影響を与えるか？

主な発見

• 提案手法により、FB-NYTデータセットにおけるAUCが0.261から0.284に向上し、相対的に10%の改善が達成された。
• 本手法は、FB-NYTベンチマークで最近発表された結果を上回った。
• 文単位の監視は、モデルが情報を含む文を符号化し、選択する能力を顕著に向上させた。
• マックスプールドアテンションの統合により、複数の入力文からの信号集約が改善された。
• マルチタスク学習の枠組みにより、より細かい粒度の監視信号を活用することで、遠隔教師あり学習のノイズが効果的に低減された。
• アテンションとマックスプールングを組み合わせることで、単独で用いる場合よりも優れた性能が得られることを示した。