[論文レビュー] Here's My Point: Argumentation Mining with Pointer Networks

Peter Potash, Alexey Romanov+1 more|arXiv (Cornell University)|Apr 24, 2017

Topic Modeling参考文献 16被引用数 3

ひとこと要約

本論文は、変更されたポインタネットを用いた新しいニューラルネットワーク手法を提案し、テキストから議論構造を抽出する。この手法は、同時に議論的要素同士のリンクとその種別を予測する。順序付きモデリングを活用し、木構造制約を課すこと、およびRNNエンコーダーの前段に全結合層を統合した共同学習フレームワークを採用することで、2つのコーパスで最先端の性能を達成した。

ABSTRACT

One of the major goals in automated argumentation mining is to uncover the argument structure present in argumentative text. In order to determine this structure, one must understand how different individual components of the overall argument are linked. General consensus in this field dictates that the argument components form a hierarchy of persuasion, which manifests itself in a tree structure. This work provides the first neural network-based approach to argumentation mining, focusing on extracting links between argument components, with a secondary focus on classifying types of argument components. In order to solve this problem, we propose to use a modification of a Pointer Network architecture. A Pointer Network is appealing for this task for the following reasons: 1) It takes into account the sequential nature of argument components; 2) By construction, it enforces certain properties of the tree structure present in argument relations; 3) The hidden representations can be applied to auxiliary tasks. In order to extend the contribution of the original Pointer Network model, we construct a joint model that simultaneously attempts to learn the type of argument component, as well as continuing to predict links between argument components. The proposed model achieves state-of-the-art results on two separate evaluation corpora. Furthermore, our results show that optimizing for both tasks, as well as adding a fully-connected layer prior to recurrent neural network input, is crucial for high performance.

研究の動機と目的

• 議論的テキストから議論構造を自動で抽出するニューラルネットワークベースの手法を開発すること。
• ポインタネットを用いたシーケンス・ツー・シーケンス学習により、議論関係の階層的・木構造的性質をモデル化すること。
• 議論的要素の種別とその構造的リンクを同時に予測することで、全体の性能を向上させること。
• RNNエンコーダーの前段に全結合層を導入するなど、アーキテクチャの変更を通じてモデル性能を向上させること。
• エンド・ツー・エンドのディープラーニングを用いて、議論構造抽出における新しい最先端のベースラインを確立すること。

提案手法

• 入力要素の順序を保持しつつ、議論的要素間のリンクを予測するために、修正されたポインタネットアーキテクチャが使用された。
• 各要素がたかだか1つの親要素にリンクすることを保証することで、木構造制約を課し、自然に階層的説得構造をモデル化した。
• 共有された隠れ表現を用いて、議論的要素の種別と構造的リンクの両方を同時に予測する共同学習フレームワークが導入された。
• RNNエンコーダーの前段に全結合層を適用することで、表現学習の向上とモデル性能の向上が図られた。
• 注意メカニズムと再帰的符号化を活用し、議論的テキストにおける長距離依存関係を捉えた。
• このアーキテクチャは、2つの議論構造抽出コーパス上で、両予測タスクの交差エントロピー損失を用いてエンド・ツー・エンドで学習された。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークモデルは、階層的木構造を維持しながら、議論的要素間のリンクを効果的に学習できるか？
• RQ2 議論的要素の種別とリンクの同時予測は、全体の議論構造抽出性能を向上させるか？
• RQ3 RNNエンコーダーの前段に全結合層を追加することで、モデル性能にどのような影響を与えるか？
• RQ4 修正されたポインタネットは、既存の手法に比べてどの程度、議論構造抽出で優れているか？
• RQ5 議論構造抽出において最先端の結果を達成するために、どのアーキテクチャ的要素が最も重要か？

主な発見

• 提案手法は、2つの標準的な議論構造抽出コーパスで最先端の性能を達成し、先行手法を上回った。
• 議論的要素の種別分類とリンク予測を同時に最適化することで、モデルの正確性が顕著に向上した。
• RNNエンコーダーの前段に全結合層を追加したことが、高い性能を達成するために不可欠であることが判明した。
• ポインタネットアーキテクチャは、親子リンク制約を課えることで、議論の階層的構造を効果的にモデル化できた。
• モデルの隠れ表現は、転送可能であり、要素種別分類などの補助タスクにおいても有用であった。
• 結果から、構造的インダクティブバイアスを組み込んだ順序モデリングが、より良い議論構造予測をもたらすことが示された。