[論文レビュー] Fine-grained Analysis of Sentence Embeddings Using Auxiliary Prediction Tasks

Yossi Adi, Einat Kermany+3 more|arXiv (Cornell University)|Aug 15, 2016

Topic Modeling参考文献 27被引用数 297

ひとこと要約

この論文は、固定長表現から低レベルの特性（長さ、語内容、語順）を予測することによって文の埋め込みを分析するフレームワークを提案し、CBOW、LSTM auto-encoders、および skip-thought vectors を比較する。

ABSTRACT

There is a lot of research interest in encoding variable length sentences into fixed length vectors, in a way that preserves the sentence meanings. Two common methods include representations based on averaging word vectors, and representations based on the hidden states of recurrent neural networks such as LSTMs. The sentence vectors are used as features for subsequent machine learning tasks or for pre-training in the context of deep learning. However, not much is known about the properties that are encoded in these sentence representations and about the language information they capture. We propose a framework that facilitates better understanding of the encoded representations. We define prediction tasks around isolated aspects of sentence structure (namely sentence length, word content, and word order), and score representations by the ability to train a classifier to solve each prediction task when using the representation as input. We demonstrate the potential contribution of the approach by analyzing different sentence representation mechanisms. The analysis sheds light on the relative strengths of different sentence embedding methods with respect to these low level prediction tasks, and on the effect of the encoded vector's dimensionality on the resulting representations.

研究の動機と目的

• 文の埋め込みがどの情報を符号化しているかを調べるためのタスクに依存しない手法を開発する。
• 低レベルの特性に沿って、異なる文表現法（CBOW、LSTM auto-encoder、skip-thought）の比較を行う。
• 埋め込み次元数が長さ、内容、語順の符号化にどのように影響するかを調査する。

提案手法

• 文表現を評価するための3つの補助予測タスク（長さ、語内容、語順）を定義する。
• 固定長表現から各タスクを予測する簡単な分類器を訓練する。s、w、および w1、w2 から。
• 各タスクの訓練・開発・テストセットを平衡化するために、Wikipedia由来の大規模コーパスを用いる。
• 複数の埋め込み次元にわたり、CBOW（平均化された単語ベクトル）とエンコーダ–デコーダ LSTM アーキテクチャを比較する。
• 比較のための追加表現として skip-thought vectors を含める。
• 語順を入れ替えたり、合成データセット（ランダム語）を分析することで、自然言語特性の影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 異なる文表現はどの程度、文の長さ、語内容、語順を符号化しているか？
• RQ2 埋め込み次元数は、CBOW、LSTM auto-encoders、および skip-thoughts における長さ、内容、語順の符号化にどのように影響するか？
• RQ3 エンコーダは自然言語の語順統計に依存しているか、文の並べ替えが符号化にどう影響するか？
• RQ4 再構成時のBLEUは、低レベルの符号化タスクに対するエンコーダの品質を測る信頼できる代理指標ですか？

主な発見

• LSTM auto-encoders は語順と内容を効果的に符号化し、次元数はある点まで性能が向上する。
• CBOW は長さと語順情報を驚くべきことに符号化し、低次元の CBOW はしばしば内容タスクでより複雑なモデルよりも高い性能を示す。
• 次元を増やすことはタスクによって効果が異なる；LSTM エンコーダでは、隠れ層ユニットが多すぎると語-content の符号化が劣化することがある。
• CBOW の長さ符号化は、文の長さに伴う埋め込みノルムの減衰の一部によるもので、語の同一性だけが原因ではない。
• Skip-thoughts は、高次元の LSTM エンコーダと同様に語内容と長さを保持するが、語順には自然言語パターンにより多く依存する；文の並べ替えは一部のタスクでその性能を著しく低下させる。
• BLEU スコアは、語内容/語順の符号化に対するエンコーダの品質を必ずしも反映しない。