[論文レビュー] Attention-Based Capsule Networks with Dynamic Routing for Relation Extraction

Ningyu Zhang, Shumin Deng+4 more|arXiv (Cornell University)|Dec 29, 2018

Topic Modeling参考文献 25被引用数 17

ひとこと要約

本論文は、マルチインスタンスマルチラベル学習フレームワークにおけるエンドツーエンド関係抽出のため、動的ルーティングを備えたアテンションベースのキャプセルネットワークを提案する。反復的ルーティングとワードレベルのアテンションを用いて関係をモデリングすることで、単一および複数関係抽出タスクの両方で精度が向上し、WikidataおよびNYTベンチマークにおいてベースラインモデルを上回る性能を発揮する。

ABSTRACT

A capsule is a group of neurons, whose activity vector represents the instantiation parameters of a specific type of entity. In this paper, we explore the capsule networks used for relation extraction in a multi-instance multi-label learning framework and propose a novel neural approach based on capsule networks with attention mechanisms. We evaluate our method with different benchmarks, and it is demonstrated that our method improves the precision of the predicted relations. Particularly, we show that capsule networks improve multiple entity pairs relation extraction.

研究の動機と目的

• 既存のニューラルモデルにおける関係抽出の限界、特に空間的関係の処理が不十分で、固定ベクトル表現に依存する点を是正する。
• キャプセルネットワークを用いて複雑で重複する特徴をモデリングすることで、マルチラベル関係抽出の性能を向上させる。
• 顕著な語を動的に重み付けするワードレベルのアテンションを統合することで、特徴表現を強化する。
• 1文内で複数のエンティティペアに対して複数の関係を同時に予測可能にする。
• キャプセルネットワークが関係抽出の文脈において有効であるかを評価する。ここでは、先行研究でこのアーキテクチャが検討されていない。

提案手法

• 文の符号化にBi-LSTM層を用い、その後に従来のプーリングに代わる動的ルーティングを用いたキャプセルネットワークを適用する。
• 動的ルーティングは反復的にアテンションに類似した重みを計算し、低レベルのキャプセル間の合意に基づいて情報のルーティングを行う。
• ワードレベルのアテンションを位置埋め込みに適用し、関係予測に対する関連性に応じてエンティティ相対的位置に異なる重みを割り当てる。
• キャプセルネットワークはマルチラベル分類を複数の二値分類タスクに変換し、1文ごとの複数関係の同時予測を可能にする。
• アブレーションスタディでは、主なキャプセル層を完全結合層に置き換えることで、キャプセルネットワークの貢献を分離する。
• 交差エントロピー損失にL2正則化を適用し、ハイパーパramータをバリデーションセット上で最適化することで、エンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 キャプセルネットワークに動的ルーティングを組み合わせることで、CNN や RNN と比較して関係抽出の性能が向上するか？
• RQ2 ワードレベルのアテンションは、複数のエンティティペアを含む文脈において、関係関連語の表現をどのように向上させるか？
• RQ3 動的ルーティング機構は、最大プーリングや平均プーリングと比較して、構造的関係をより良く保持するか？
• RQ4 複数の関係が1文に同時に存在する状況における、マルチリレーション抽出の性能はいかがなものか？
• RQ5 パフォーマンスと学習効率のバランスを考慮した場合、最適な動的ルーティングの反復回数とキャプセル次元は何か？

主な発見

• 提案モデルは、Wikidataデータセットにおいて、再現率0.3で精度0.422を達成し、キャプセルネットワークを含まないベースラインモデルを上回った。
• アブレーションスタディの結果、ワードレベルのアテンションを削除すると、再現率0.3で精度が0.395に低下し、その貢献の大きさが示された。
• 3回の動的ルーティング反復で最良の性能が得られ、再現率0.3で精度0.422を達成したが、反復回数を増やすと性能が低下した。
• キャプセル次元を d=8 に設定すると、性能と学習時間のバランスが最良であった。d=32では、合理的なエポック数内で収束しなかった。
• キャプセルネットワークは、単一および複数エンティティペアの関係抽出において、Bi-LSTMベースラインを上回った。特に、複雑で重複する関係を捉える能力に優れた。
• モデルはマルチリレーション設定においても頑健であり、1文内で複数のエンティティペアに対して複数の関係を同時に正しく予測できた。