[論文レビュー] Implicit Discourse Relation Classification via Multi-Task Neural Networks

Yang Liu, Sujian Li+2 more|arXiv (Cornell University)|Mar 9, 2016

Natural Language Processing Techniques参考文献 22被引用数 75

ひとこと要約

本稿では、PDTB、RST-DT、NYTの複数の対話コーパスを統合して、暗黙の対話関係分類の共有表現とタスク固有の表現を同時に学習するための、畳み込みニューラルネットワーク（CNN）と動的プーリングを組み合わせたマルチタスクニューラルネットワーク（MTNN）を提案する。クロスコーパス間の接続を活用し、スパースな語彙的特徴を密度の高いベクトル表現に置き換えることで、PDTBの暗黙の関係分類タスクで最先端の性能を達成し、ベースラインシステムを顕著に上回る。

ABSTRACT

Without discourse connectives, classifying implicit discourse relations is a challenging task and a bottleneck for building a practical discourse parser. Previous research usually makes use of one kind of discourse framework such as PDTB or RST to improve the classification performance on discourse relations. Actually, under different discourse annotation frameworks, there exist multiple corpora which have internal connections. To exploit the combination of different discourse corpora, we design related discourse classification tasks specific to a corpus, and propose a novel Convolutional Neural Network embedded multi-task learning system to synthesize these tasks by learning both unique and shared representations for each task. The experimental results on the PDTB implicit discourse relation classification task demonstrate that our model achieves significant gains over baseline systems.

研究の動機と目的

• 暗黙の対話関係分類における訓練データのスパarsityと劣悪な文脈表現の課題に対処すること。
• 異なる対話アノテーションフレームワーク（例：PDTBとRST-DT）間の内部的接続を活用し、複数のコーパスを統合することによって、対話関係の分類性能を向上させること。
• 関連する対話タスク間で表現を共有するマルチタスク学習システムを設計することで、分類性能を向上させること。
• CNNと動的プーリングを用いて、スパースな語彙的特徴（例：語のペア）を密度の高い低次元ベクトル表現に置き換えること。
• マルチタスクニューラルネットワークフレームワーク内で共有および固有の表現を用いて、タスク間の相互最適化を可能とすること。

提案手法

• PDTB（暗黙および明示的関係）、RST-DT（拡張、結合）、NYT（接続詞ベースの関係）の複数のコーパスから得られる対話分類タスクを同時に学習するマルチタスクニューラルネットワーク（MTNN）を構築する。
• スパースな語彙的特徴（例：語のペア）の代わりに、文のペアの密度の高い低次元ベクトル表現を学習するため、動的プーリングを用いたCNNを採用する。
• 各コーパス固有のヘッドを設計しながら、下位層の表現を共有することで、タスク間の共通パターンと固有パターンを両方捉える。
• 可変長の文のペアに対応するため、動的プーリングを用い、関係分類に適した顕著な特徴を抽出する。
• エンドツーエンドでモデルを学習し、すべてのタスクを同時に最適化することで、知識の転送と一般化性能の向上を実現する。
• 対話関係の構造的類似性（例：PDTBのExpansionsとRST-DTのElaboration）を活用して、表現学習を強化する。

実験結果

リサーチクエスチョン

• RQ1 異なるアノテーションフレームワークを持つ複数の対話コーパスを統合することで、暗黙の対話関係分類の性能が向上するか？
• RQ2 共有および固有の表現を有するマルチタスク学習フレームワークは、単一タスクモデルを上回る性能を示すか？
• RQ3 スパースな語彙的特徴をCNNベースの密度の高い表現に置き換えることで、リソースが限られた対話関係の分類性能が向上するか？
• RQ4 Contingency や Temporal のようなレアなまたは代表されない対話関係では、モデルの性能はどの程度向上するか？
• RQ5 補助タスク（例：明示的関係分類）は、暗黙の関係分類の性能をどの程度向上させるか？

主な発見

• 提案されたマルチタスクニューラルネットワークは、PDTBの暗黙の対話関係分類タスクで最先端の性能を達成し、既存のベースラインシステムを顕著に上回る。
• Contingency や Temporal のようなリソースが限られた関係種別においても、性能が顕著に向上し、特にTemporal関係ではF1スコアが33.30から37.17に上昇した。これはマルチタスク学習の有効性を示している。
• CNNと動的プーリングを用いた密度の高い表現学習により、スパースな語のペアに依存するのを減らし、特徴の質が向上した。
• ターゲットタスクと構造的または意味的に類似した補助タスク（例：Expansions や Elaboration 関係）から最も恩恵を受ける。
• Comparison 関係はマルチタスク学習による改善が最も小さく、これは上位層で既に構文的特徴が十分に捉えられているためと推測される。
• 結果から、マルチタスク学習を用いて複数の対話コーパスを統合することで、データのスパarsityが緩和され、関係種別にわたる一般化性能が向上することが確認された。