[論文レビュー] Improving Sentence Representations with Multi-view Frameworks

Shuai Tang, Virginia R. de|arXiv (Cornell University)|Sep 27, 2018

Topic Modeling参考文献 52被引用数 5

ひとこと要約

本論文は、再帰的ニューラルネットワーク（RNN）と線形モデルを補完的ビューとして組み合わせることで、教師なし文表現を学習する2つのマルチビュー枠組みを提案する。これらの枠組みは、生成的または判別的目的関数を用い、ビューのアンサンブルにより、単一ビューモデルと比較して、下流タスクにおける転移性が向上した表現を達成する。

ABSTRACT

Multi-view learning can provide self-supervision when different views are available of the same data. Distributional hypothesis provides another form of useful self-supervision from adjacent sentences which are plentiful in large unlabelled corpora. Motivated by the asymmetry in the two hemispheres of the human brain as well as the observation that different learning architectures tend to emphasise different aspects of sentence meaning, we present two multi-view frameworks for learning sentence representations in an unsupervised fashion. One framework uses a generative objective and the other a discriminative one. In both frameworks, the final representation is an ensemble of two views, in which, one view encodes the input sentence with a Recurrent Neural Network (RNN), and the other view encodes it with a simple linear model. We show that, after learning, the vectors produced by our multi-view frameworks provide improved representations over their single-view learnt counterparts, and the combination of different views gives representational improvement over each view and demonstrates solid transferability on standard downstream tasks.

研究の動機と目的

• 単一ビュー文表現モデルの限界を補い、補完的学習の視点を活用すること。
• 大規模なラベルなしコーパスにおけるマルチビューのデータと文の分布的文脈から自己教師学習を活用すること。
• 脳の側頭葉の特化にインspiredされたアーキテクチャの非対称性を通じて、文表現の質を向上させること。
• 下流の転移学習タスクにおいて、単一ビューモデルを上回る教師なし枠組みを開発すること。

提案手法

• 本フレームワークは2つの異なるビューを採用する：1つは入力文を符号化する再帰的ニューラルネットワーク（RNN）であり、もう1つは単純な線形モデルである。
• 1つのフレームワークは、結合されたビュー表現から入力文を再構築する生成的目的関数を用いる。
• もう1つのフレームワークは、本物の文ペアと改ざんされた文ペアを区別する判別的目的関数を用いる。
• 最終的な文表現は、2つのビューのアンサンブルとして形成され、それぞれの補完的強みが統合される。
• 自己教師学習は、マルチビュー構造と分布的仮説の両方から得られ、大規模コーパス内の隣接する文を用いる。
• モデルはアノテーションデータを必要とせず、教師なしの方法でエンドツーエンドに訓練される。

実験結果

リサーチクエスチョン

• RQ1 RNNと線形モデルを補完的ビューとして組み合わせることで、教師なし設定下での文表現の質が向上するか？
• RQ2 生成的および判別的目的関数の両方を用いることで、学習された表現のロバスト性と表現力が向上するか？
• RQ3 2つの異なるビューのアンサンブルは、単一ビューモデルと比較して、下流タスクの転移性能においてどのように差をつけるか？
• RQ4 マルチビュー枠組みは、文の分布的文脈をどの程度活用して、表現学習を向上させているか？

主な発見

• マルチビュー枠組みは、表現の質の面で単一ビューの対応モデルを上回る文表現を生成する。
• 2つのビューのアンサンブルは、それぞれのビュー単体よりも優れた性能を達成しており、補完的学習の利点を示している。
• 提案された枠組みは、教師なし事前学習後に標準的な下流NLPタスクで強力な転移性を示す。
• 生成的および判別的目的関数の両方の使用が、よりロバストで情報豊富な文表現をもたらす。