[論文レビュー] On the Importance of Word and Sentence Representation Learning in Implicit Discourse Relation Classification

Xin Liu, Jiefu Ou+2 more|arXiv (Cornell University)|Apr 27, 2020

Topic Modeling参考文献 33被引用数 4

ひとこと要約

本稿では、文脈化された語表現、二重の多視点マッチング、ゲート付き融合を統合することで、暗黙の discourse 関係分類を向上させる新しいモデル、BMGF-RoBERTa を提案する。セグメント埋め込みを用いて「前後」の文脈を符号化し、マルチヘッドアテンションとゲート機構を組み合わせることで、PDTB と CoNLL 2016 データセットにおいて、BERT や先行の SOTA システムをそれぞれ約 8%、16% 上回る最先端の性能を達成した。

ABSTRACT

Implicit discourse relation classification is one of the most difficult parts in shallow discourse parsing as the relation prediction without explicit connectives requires the language understanding at both the text span level and the sentence level. Previous studies mainly focus on the interactions between two arguments. We argue that a powerful contextualized representation module, a bilateral multi-perspective matching module, and a global information fusion module are all important to implicit discourse analysis. We propose a novel model to combine these modules together. Extensive experiments show that our proposed model outperforms BERT and other state-of-the-art systems on the PDTB dataset by around 8% and CoNLL 2016 datasets around 16%. We also analyze the effectiveness of different modules in the implicit discourse relation classification task and demonstrate how different levels of representation learning can affect the results.

研究の動機と目的

• 暗黙の discourse 関係分類の課題に取り組む。これは明示的な接続詞がなく、スパンレベルおよび文レベルでの深い文脈理解を要する。
• 語、文、discourse の多段階表現学習が、暗黙の関係分類に与える影響を調査する。
• 強力な表現、相互作用、統合モジュールを統合した包括的なモデルを設計し、discourse 理解を向上させる。
• 各モジュール（セグメント埋め込み、マッチング、統合）が分類性能向上に寄与する程度を体系的に評価する。
• RoBERTa にタスク固有のアーキテクチャ的要素を追加することで、BERT や先行の SOTA モデルを上回ることを示す。

提案手法

• モデルは、2つの discourse 論拠間の「前後」順序を明示的に表現するため、セグメント埋め込み（SE）を用いた RoBERTa を文脈化エンコーダーとして使用する。
• 二重の多視点マッチング（BM）モジュールは、重い特徴工学を伴わずに、複数の視点から論拠間の相互作用を捉える。
• ゲート付き情報統合（GF）モジュールは、マルチヘッドアテンションと学習可能なゲートを組み合わせ、両方の論拠から関連する特徴を選択的に統合する。
• エンコーダーが相対的な位置関係および discourse の文脈を学べるよう、2つの論拠を特別な区切りトークンで連結する。
• 最終的な表現を分類器に供給し、マルチクラスの discourse 関係予測を行う。エンド・ツー・エンドの学習が行われる。
• SE、BM、GF モジュールをそれぞれ除去することで、アブレーションスタディを実施し、各モジュールの貢献度を評価する。

実験結果

リサーチクエスチョン

• RQ1 語、文、discourse の異なるレベルの表現学習が、暗黙の discourse 関係分類に与える影響は何か？
• RQ2 セグメント埋め込みが RoBERTa における「前後」discourse 順序のモデル化に果たす貢献は何か？
• RQ3 標準的なアテンション機構と比較して、二重の多視点マッチングは論拠間の相互作用をどのように捉えているか？
• RQ4 シンプルなアテンションや連結と比較して、ゲート付き統合は特徴統合をどの程度向上させるか？
• RQ5 RoBERTa は、アーキテクチャ的変更が加えられていない状態で、なぜ暗黙の関係分類において BERT よりも性能を癹揮しないのか。改善に不可欠な要因は何か？

主な発見

• BMGF-RoBERTa は PDTB-4 で F1 スコア 59.44 を達成し、前回の SOTA を約 8% 上回った。
• CoNLL 2016 では、最良の先行システムと比較して F1 が約 16% 向上した。
• セグメント埋め込み（w/o SE）を除去すると、性能が著しく低下し、特に Comp. および Temp. 関係で顕著であった。これは、discourse 順序を捉える上で重要な役割を果たしていることを示している。
• 二重の多視点マッチングおよびゲート付き統合モジュールはそれぞれ顕著な貢献を示しており、アブレーション実験で両モジュールを除去すると平均 F1 が 9% 以上低下した。
• シアンズ型バージョン（BMGF-RoBERTa-Siamese）は、SE を除去した場合の BMGF-RoBERTa よりも性能が低く、別々のエンコーディングでは文脈統合が制限されることを示している。
• ソースアテンションの後に自己アテンションを適用すると、PDTB-4 での性能が悪化した。これは、標準的なアテンション機構が、本研究で提案する BM および GF モジュールに比べ、このタスクでは劣っていることを示唆している。