[論文レビュー] Exploring Different Dimensions of Attention for Uncertainty Detection

Heike Adel, Hinrich Schütze|arXiv (Cornell University)|Dec 20, 2016

Topic Modeling参考文献 33被引用数 4

ひとこと要約

本稿では、NLPにおける不確実性検出のための新規アテンションメカニズム—外部アテンションおよび順序保持アテンション—を提案する。外部キュー・レキシコンを活用し、アテンション計算中に順序を保持することで、提案モデルは先行手法を上回り、CoNLL2010 WikipediaベンチマークでSOTAを更新し、F1スコアで前回SOTAから3.5点以上向上を達成した。

ABSTRACT

Neural networks with attention have proven effective for many natural language processing tasks. In this paper, we develop attention mechanisms for uncertainty detection. In particular, we generalize standardly used attention mechanisms by introducing external attention and sequence-preserving attention. These novel architectures differ from standard approaches in that they use external resources to compute attention weights and preserve sequence information. We compare them to other configurations along different dimensions of attention. Our novel architectures set the new state of the art on a Wikipedia benchmark dataset and perform similar to the state-of-the-art model on a biomedical benchmark which uses a large set of linguistic features.

研究の動機と目的

• テキスト内の不確実（事実でない）情報、例えば推測、意見、曖昧さを検出する課題に対処すること。
• 標準的な内部的で重み付けされた、順序に依存しないアテンション手法にとどまらない、ニューラルネットワークアテンションメカニズムの設計空間を拡張すること。
• アテンションの次元（ソース、重み付け、順序の保持）が不確実性検出性能に与える影響を評価すること。
• 初めて、新規アテンションメカニズムを組み込んだ畳み込みニューラルネットワーク（CNNs）および再帰的ニューラルネットワーク（RNNs）を不確実性検出に適用すること。
• CoNLL2010 Wikipediaベンチマークで新たなSOTAを確立し、より複雑なバイオメディカルデータセットでも優れた性能を示すこと。

提案手法

• 内部ネットワーク表現ではなく、不確実性キュー語句の外部レキシコンに基づいてアテンション重みを計算する外部アテンションを提案する。
• 標準的な重み付き平均アテンションとは異なり、アテンション計算中に入力トークンの相対的順序を維持する順序保持アテンションメカニズムを導入する。
• シーケンス分類のため、畳み込みニューラルネットワーク（CNNs）および再帰的ニューラルネットワーク（RNNs）の両方にアテンションメカニズムを統合する。
• アテンションスコアを計算するためにフィードフォワード層を用い、アテンション重みは外部キュー・レキシコンから導出され、不確実性の兆候に注目を向けるように誘導する。
• 畳み込みまたは再帰的符号号化とアテンションを組み合わせたマルチレイヤー構造を採用し、その後に二値不確実性予測のための分類ヘッドを配置する。
• 内部対外部、重み付き対非重み付き、順序無視対順序保持選択といった、さまざまなアテンション構成における広範なアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 事前に定義された不確実性キュー語句のレキシコンを使用する外部アテンションメカニズムは、標準的な内部アテンションと比較して、不確実性検出性能にどのように影響を与えるか？
• RQ2 アテンション計算中に順序を保持することは、不確実性検出タスクの性能向上にどの程度寄与するか？
• RQ3 重み付き対非重み付き、内部対外部、順序無視対順序保持といった、さまざまなアテンション構成が、多様なNLPタスクにおけるモデル性能に与える影響は何か？
• RQ4 新規アテンションメカニズムを組み込んだ畳み込みおよび再帰的ニューラルネットワークは、不確実性検出ベンチマークでSOTAを達成できるか？
• RQ5 提案されたアテンションメカニズムはWikipediaベンチマークを越えて一般化できるか？特に、より複雑なバイオメディカルデータセットにおいては？

主な発見

• 提案された外部アテンションメカニズムは、モデルが既知の不確実性キューに注目するように誘導することで、顕著に性能を向上させ、WikipediaベンチマークでF1スコアが3.5点以上向上した。
• 順序保持アテンションメカニズムは、文の構文的・意味的順序を維持するのを助け、"Xがバスク語であることは確かではない" と "Xがバスク語でないことは不確実である" といった文の違いをより正確に区別できる。
• 外部アテンションを搭載したCNNは、CoNLL2010 Wikipediaベンチマークで新たなSOTAを達成し、前回SOTAモデルを3.5点以上のF1スコアで上回った。
• バイオメディカルベンチマークでも競争力のある性能を示し、多数の言語的特徴に依存する最先端システムと同等の性能を達成した。
• アブレーションスタディの結果、外部アテンションと順序保持が性能向上の主な要因であることが確認され、特に外部アテンションが最も顕著な向上をもたらした。
• コードとモデルは公開されており、不確実性検出およびアテンションメカニズム設計分野における再現性と今後の研究を支援する。