[論文レビュー] Multi-view Sentence Representation Learning

Shuai Tang, Virginia R. de|arXiv (Cornell University)|May 18, 2018

Topic Modeling参考文献 49被引用数 5

ひとこと要約

この論文は、隣接する文の表現同士の類似度をコサイン類似度で最大化することで、RNNエンコーダーと線形な単語ベクトル平均エンコーダーを同時に学習するマルチビュー文表現学習フレームワークを提案する。この手法は、個々のビューの性能とアンサンブル表現の両方を向上させ、下流のタスクにおいて既存の教師なしモデルを上回り、優れた転移性を示す。

ABSTRACT

Multi-view learning can provide self-supervision when different views are available of the same data. The distributional hypothesis provides another form of useful self-supervision from adjacent sentences which are plentiful in large unlabelled corpora. Motivated by the asymmetry in the two hemispheres of the human brain as well as the observation that different learning architectures tend to emphasise different aspects of sentence meaning, we create a unified multi-view sentence representation learning framework, in which, one view encodes the input sentence with a Recurrent Neural Network (RNN), and the other view encodes it with a simple linear model, and the training objective is to maximise the agreement specified by the adjacent context information between two views. We show that, after training, the vectors produced from our multi-view training provide improved representations over the single-view training, and the combination of different views gives further representational improvement and demonstrates solid transferability on standard downstream tasks.

研究の動機と目的

• 異なるニューラルアーキテクチャを活用して文表現学習を向上させる統一的なマルチビュー学習フレームワークを開発すること。
• ラベルなしコーパスにおいて隣接する文の表現同士の一致を最大化することで、分布的仮説を活用すること。
• 左側頭部の逐次的処理と右側頭部の並列的処理にインspiredされた非対称処理が、表現品質の向上に寄与するかを検証すること。
• 教師なしおよび教師ありNLPタスクにおける学習済み表現の転移性と一般化性能を評価すること。
• 単一ビュー学習と比較して、異なるビューからの表現をアンサンブル化することで、優れた性能が得られるかを検証すること。

提案手法

• フレームワークは2つの異なるビューを用いる：片方は双方向RNNエンコーダー（f）、もう片方は線形な単語ベクトル平均エンコーダー（g）。
• 学習目的は、2つのビュー間で隣接する文の表現のコサイン類似度を最大化することであり、$ a_{ij} = \cos(\mathbf{z}_i^f, \mathbf{z}_j^g) + \cos(\mathbf{z}_i^g, \mathbf{z}_j^f) $ で定義される。
• 対照的学習を用いて、大規模なラベルなしコーパス上でエンドツーエンドに訓練され、隣接する文ペアが高一致を示すように促進される。
• 訓練の安定化のため、コサイン類似度計算に事前処理および正規化された表現 $ \hat{\mathbf{z}} $ が使用される。
• 同じ入力に対して異なる処理パスを用いることで、複数のデータソースを必要とせずマルチビュー学習が可能となる。
• 両ビューからの表現のアンサンブルが、一般化性能の向上と文の意味の補完的側面の捉え込みに寄与する。

実験結果

リサーチクエスチョン

• RQ1 RNNベースのエンコーダーと線形な単語ベクトル平均エンコーダーを組み合わせることで、マルチビュー学習により文表現の質が向上するか？
• RQ2 異なる2つのビューが隣接する文の表現で一致を最大化することで、単一ビュー学習と比較してより良い表現が得られるか？
• RQ3 2つの異なるビューのアンサンブルは、個々のビューと比較して、下流タスクにおける転移性能で優れているか？
• RQ4 提案されたフレームワークは、標準的な評価ベンチマークにおいて、既存の教師なし文表現モデルを上回るか？
• RQ5 脳の側頭葉優位性にインspiredされた情報処理の機能的非対称性が、多様な文表現の学習に有益であるか？

主な発見

• マルチビュー学習フレームワークは、単一ビューの対応するものと比較して、RNNエンコーダーおよび線形エンコーダーの両方の性能を顕著に向上させる。
• 両ビューからの表現のアンサンブルは、個々のビュー単体よりも優れた結果を達成しており、補完的学習の有効性を示している。
• 教師なし評価タスク（文類似度やテキスト帰属関係など）において、既存の教師なし転移学習モデルを上回る性能を示す。
• 教師あり下流タスクにおいても、モデルの性能は最良の教師なしモデルと同等またはそれを上回っており、優れた転移性を示している。
• 式2で定義される一致関数（$ a_{ij} = \cos(\mathbf{z}_i^f, \mathbf{z}_j^g) + \cos(\mathbf{z}_i^g, \mathbf{z}_j^f) $）は、自己一致を促進する代替手法よりも優れており、訓練中に一方のビューが優位になるのを防ぐ。
• 実験的結果は、逐次的（RNN）処理と並列的（線形）処理モードが、豊かな文表現の学習において補い合うことを支持している。