[論文レビュー] Deep Enhanced Representation for Implicit Discourse Relation Recognition

Hongxiao Bai, Hai Zhao|arXiv (Cornell University)|Jul 13, 2018

Topic Modeling参考文献 36被引用数 70

ひとこと要約

この論文は、深層・多グラニュラリティ表現モデルを用いて暗黙的談話関係認識を行い、語・サブワード・文脈埋め込みを深い残差双方向注意エンコーダと組み合わせることで PDTB 2.0 で最先端の結果を達成した（11クラス精度は48%超、4クラス F1 は50%超）。

ABSTRACT

Implicit discourse relation recognition is a challenging task as the relation prediction without explicit connectives in discourse parsing needs understanding of text spans and cannot be easily derived from surface features from the input sentence pairs. Thus, properly representing the text is very crucial to this task. In this paper, we propose a model augmented with different grained text representations, including character, subword, word, sentence, and sentence pair levels. The proposed deeper model is evaluated on the benchmark treebank and achieves state-of-the-art accuracy with greater than 48% in 11-way and $F_1$ score greater than 50% in 4-way classifications for the first time according to our best knowledge.

研究の動機と目的

• 複数の文本階層レベルにわたって文対表現を豊かにすることによって、暗黙的談話関係認識を向上させる。
• 固定語彙埋め込みに加えて、サブワード埋め込みと文脈化埋め込み（ELMo）を組み込み、表現の質を高める。
• 深い残差双方向注意エンコーダを開発し、より豊かな文および文対表現を学習する。
• 提案モデルを PDTB 2.0 で評価し、11クラスおよび4クラスの双方で新しい最先端性能を確立する。

提案手法

• 語レベルモジュールは、固定事前学習語埋め込み、サブワード埋め込み（サブワード CNN とハイウェイ融合を用いた BPE による）および文脈化 ELMo 埋め込みを用いてトークン埋め込みを拡張する; これら3つの成分を連結して e_i を形成する。
• ELMo 表現は、最後の2つの BiLSTM 層から導出され、次元削減前に自己調整された重み付き結合で組み合わせられる。
• 文レベルモジュールは、積み重ねられたエンコーダーブロック（Conv または BiGRU ベース）と残差接続を用いる； Arg1 と Arg2 に対して異なる意味的視点を捉えるため、引数特有のパラメータを使用する。
• ペアレベルモジュールは層ごとの文表現間で双方向注意を適用する；注意された特徴に対して2-maxプーリングを行い o_j を得る；最終表現 o は層を跨いで連結され、MLP分類器の入力となる。
• 2つの分類器を使用：1つは関係分類、もう1つは結合分類（結合語分類を含む）（共同クロスエントロピーロスで訓練）；総損失は Loss_relation + Loss_connective。
• 本モデルは PDTB 2.0 の 11-way、4-way、2クラス分類で評価され、PDTB-Lin と PDTB-Ji の分割を使用する；事前学習済み ELMo エンコーダは AllenNLP 由来；word2vec (Google News) 初期化埋め込みは訓練中固定される。

実験結果

リサーチクエスチョン

• RQ1 マルチグラニュラリティのテキスト表現（語・サブワード・文脈埋め込み）は、暗黙的談話関係認識を改善しますか？
• RQ2 より深い残差エンコーダとペアワイズ双方向注意は、PDTB 2.0 の文対表現を改善しますか？
• RQ3 Arg1 と Arg2 に対して異なるパラメータを用いた引数特有のエンコーディングは、引数固有の意味論を捉えるのに有益ですか？
• RQ4 このタスクにおけるサブワードレベル埋め込みと文字レベル表現の寄与はどの程度ですか？
• RQ5 訓練中の結合語予測を結合することで、暗黙的関係分類性能をさらに向上させることができますか？

主な発見

• 提案モデルは PDTB 2.0 の 11-way分類で最先端の結果を達成し、初めて PDTB-Ji 分割で 48% を超える精度を達成。
• モデルは第一レベルの 4-way 分類で F1 スコアが 50% を超えることも達成し、発表時点で新しい報告結果となった。
• アブレーション研究は、語レベルの強化（サブワードと ELMo）と残差接続が性能を大幅に向上させ、Res 1（ブロック残差）の方が Res 2（ペア表現残差）より貢献が大きいことを示す。
• サブワードレベル埋め込みはこのタスクで文字レベル埋め込みを上回る（47.03% 対 46.37% のアブレーションで）。
• 引数特有の文エンコーダパラメータは、共有パラメータより良い結果を生み出す（アブレーションで 46.29% 対 45.97%）。
• 複数のエンコーダ層にまたがる双方向注意と層ごとの表現の連結は、分類を改善するより豊かなペア表現を提供する。