[論文レビュー] DisSent: Sentence Representation Learning from Explicit Discourse Relations

Allen Nie, Erin Bennett+1 more|arXiv (Cornell University)|Oct 12, 2017

Topic Modeling参考文献 33被引用数 59

ひとこと要約

DisSentは、文ペア間の明示的ディスコースマーカーを予測することにより文表現を学習し、BookCorpusから自動的にキュレーションされたデータと依存構造解析を用いてBiLSTMエンコーダを訓練し、BERTをファインチューニングすることで、強力な転移性能を達成し、PDTBの暗黙的関係予測で最先端の結果を達成する。

ABSTRACT

Learning effective representations of sentences is one of the core missions of natural language understanding. Existing models either train on a vast amount of text, or require costly, manually curated sentence relation datasets. We show that with dependency parsing and rule-based rubrics, we can curate a high quality sentence relation task by leveraging explicit discourse relations. We show that our curated dataset provides an excellent signal for learning vector representations of sentence meaning, representing relations that can only be determined when the meanings of two sentences are combined. We demonstrate that the automatically curated corpus allows a bidirectional LSTM sentence encoder to yield high quality sentence embeddings and can serve as a supervised fine-tuning dataset for larger models such as BERT. Our fixed sentence embeddings achieve high performance on a variety of transfer tasks, including SentEval, and we achieve state-of-the-art results on Penn Discourse Treebank's implicit relation prediction task.

研究の動機と目的

• 明示的ディスコース関係を構造化意味シグナルとして用いて、汎用的な文表現の学習を動機づける。
• 依存解析を介して明示的ディスコースマーカーでリンクされた大規模で高品質な文ペアデータセットを自動的にキュレーションする。
• ディスコースマーカー予測を支える埋め込みを生み出すよう、文エンコーダを訓練し、意味理解志向の表現を促す。
• DisSentタスク上でより大きなモデル（例：BERT）をファインチューニングし、下流のディスコース分類タスクの性能を向上させる。
• SentEvalとPDTBタスクで埋め込みを評価し、最先端の監督付き・非監督アプローチと比較する。

提案手法

• 時間的最大プーリングを用いて固定サイズの文ベクトルを生成するBiLSTM文エンコーダを適用する。
• 引き算・掛け算・平均化を用いた文埋め込み間のペアワイズ相互作用を計算し、文埋め込みと結合する。
• 結合特徴を全結合層に投影しソフトマックスでディスコースマーカーを予測する。
• 依存構文解析パイプラインと事前定義の依存パターンを用いて、明示的ディスコースマーカーで結ばれた文ペアを自動的に抽出する。
• DisSentタスクでBERT-baseをファインチューニングし、文ペアの[CLS]表現を用いて下流タスクを評価する。
• 一般化とデータ規模の影響を評価するため、複数のディスコースマーカ_subset（ALL、Books 5、Books 8）を検討する。

実験結果

リサーチクエスチョン

• RQ1 自動ディスコースマーカー予測は、転用可能な文埋め込みを学習する強い監督信号を提供できるか。
• RQ2 DisSent埋め込みは、標準的な評価ベンチマークで既存の監督付きおよび非監督の文表現とどう比較されるか。
• RQ3 DisSentデータで大規模事前学習モデル（例：BERT）をファインチューニングすると、ディスコース関連分類タスクの性能は向上するか。
• RQ4 異なるディスコースマーカーのセットを使用することが、表現の品質と一般化にどのような影響を与えるか。
• RQ5 明示的ディスコース関係の監督は、暗黙的関係や他の学習信号と競合するか、または補完的で、文の意味学習に有効か。

主な発見

• DisSent埋め込みは、固定埋め込みとして使用した場合にSentEvalで高品質な文表現を実現する。
• DisSentでBERTをファインチューニングすると、PDTB暗黙的関係予測で他のファインチューニング戦略と比較して最先端の結果を得られる。
• DisSentで訓練したモデルは、InferSentやSkipThoughtを上回る一般化タスクが多く、特にTREC（質問タイプ分類）と暗黙的関係タスクで顕著。
• DisSentを訓練に用いることで、データ収集と訓練速度の利点が得られ、従来の一部監督付きアプローチと競合する一般化性能を維持できる。
• ディスコースマーカ予測を訓練タスクとすることは、文の統合意味を捉える有用な監視を提供し、大規模な手作 annotationsなしでも下流分類を効果的に可能にする。