[論文レビュー] Multi-labeled Relation Extraction with Attentive Capsule Network

Xinsong Zhang, Pengshuai Li+2 more|arXiv (Cornell University)|Nov 11, 2018

Topic Modeling参考文献 26被引用数 12

ひとこと要約

本稿では、重複する離散的関係表記を含む文における特徴クラスタリングおよび関係検出を改善する、新しい注意型キャプセルネットワーク「Att-CapNet」を提案する。注意ベースのルーティング機構とスライディングマージン損失関数を統合することで、SemEval-2010およびNYT-10ベンチマークで最先端の性能を達成し、従来のCNNおよびRNNベースの手法よりも、複数の高重複関係を効果的に処理する点で顕著に優れている。

ABSTRACT

To disclose overlapped multiple relations from a sentence still keeps challenging. Most current works in terms of neural models inconveniently assuming that each sentence is explicitly mapped to a relation label, cannot handle multiple relations properly as the overlapped features of the relations are either ignored or very difficult to identify. To tackle with the new issue, we propose a novel approach for multi-labeled relation extraction with capsule network which acts considerably better than current convolutional or recurrent net in identifying the highly overlapped relations within an individual sentence. To better cluster the features and precisely extract the relations, we further devise attention-based routing algorithm and sliding-margin loss function, and embed them into our capsule network. The experimental results show that the proposed approach can indeed extract the highly overlapped features and achieve significant performance improvement for relation extraction comparing to the state-of-the-art works.

研究の動機と目的

• 1つの文から複数の重複する関係を抽出する課題に対処すること。これは、現在のニューラルモデルが特徴のマージと空間への感受性のため、困難である。
• 最大プーリングや固定プーリングの限界を克服し、文全体にわたる離散的で非連続な関係特徴を捉えること。
• 動的特徴クラスタリングにより高レベルの関係表現をモデル化することで、マルチラベル状況における関係抽出のパフォーマンスを向上させること。
• 「関係なし」クラスを適切に処理するための損失関数を開発し、関係の信頼度の閾値を学習の進行に応じて動的に調整すること。

提案手法

• 1. 入力文から低レベルの意味的特徴をBi-LSTMまたはCNNで抽出する。
• 2. 低レベルの特徴がキャプセルに埋め込まれ、注意ベースのルーティングアルゴリズムによりクラスタリングされ、高レベルの関係表現が形成される。
• 3. 注意ベースのルーティング機構により、特徴の関連性に応じて関係する低レベルキャプセルが高レベルキャプセルに動的にルーティングされる。
• 4. スライディングマージン損失関数を導入し、マルチラベル状況に対応。関係なしと予測されるのは、他のすべての関係確率が動的に調整された閾値を下回った場合に限る。
• 5. キャプセルネットワークアーキテクチャにより、従来のプーリング手法と比較して、関係特徴の空間的・構造的情報をより良く保持できる。
• 6. 全体のパイプラインは、特徴抽出、キャプセルベースの特徴クラスタリング、エンド・トゥ・エンドの訓練を伴う関係予測から構成される。

実験結果

リサーチクエスチョン

• RQ1 1. キャプセルネットワークは、マルチラベル関係抽出において、高重複かつ離散的な関係特徴を効果的に捉え、クラスタリングできるか？
• RQ2 2. 注意ベースのルーティングは、従来の動的ルーティングと比較して、特徴ルーティングの精度をどのように向上させるか？
• RQ3 3. スライディングマージン損失関数は、固定マージン損失や標準的な交差エントロピー損失と比較して、「関係なし」クラスの処理をより効果的に行えるか？
• RQ4 4. 提案されたAtt-CapNetモデルは、標準ベンチマークにおいて、既存のCNNおよびRNNベースのモデルを上回るパフォーマンスを示すか？
• RQ5 5. 重要な関係語が空間的に離れている場合、モデルは1つの文内で複数の関係をどの程度正確に検出できるか？

主な発見

• 1. 提案されたAtt-CapNetモデルは、SemEval-2010 Task 8データセットでF1スコア84.5％を達成し、最良のベースライン手法を顕著に上回った。
• 2. 削減実験では、注意ベースのルーティングを削除するとF1が0.9ポイント低下し、スライディングマージン損失を削除するとF1が2.2ポイント低下した。
• 3. ケーススタディでは、Att-CapNetはマルチラベル文のすべてのラベル付き関係を正しく同定したが、最大プーリングやワードレベルの注意メソッドは1つを超える関係を検出できなかった。
• 4. 図4のPR曲線は、両モジュールを備えたAtt-CapNetが、全再現率レベルで最良の全体的パフォーマンスを示していることを示している。
• 5. モデルは、同じ文内で「place_born」、「place_lived」、「place_death」などの重複関係を検出する能力に優れている。
• 6. スライディングマージン損失関数は、学習の進行に応じて閾値を動的に調整することで、「関係なし」予測の過信を効果的に防止した。