[論文レビュー] Evaluation of sentence embeddings in downstream and linguistic probing tasks

Christian S. Perone, Roberto Pereira Silveira+1 more|arXiv (Cornell University)|Jun 16, 2018

Topic Modeling参考文献 32被引用数 103

ひとこと要約

この論文は最近の文埋め込み手法を下流タスクと語学的プロービングタスクで包括的に評価しており、普遍的なエンコーダはまだ存在しないことを示す一方で、ELMoベースのBoW表現の高い性能と言語モデル特徴の統合の可能性を強調している。

ABSTRACT

Despite the fast developmental pace of new sentence embedding methods, it is still challenging to find comprehensive evaluations of these different techniques. In the past years, we saw significant improvements in the field of sentence embeddings and especially towards the development of universal sentence encoders that could provide inductive transfer to a wide variety of downstream tasks. In this work, we perform a comprehensive evaluation of recent methods using a wide variety of downstream and linguistic feature probing tasks. We show that a simple approach using bag-of-words with a recently introduced language model for deep context-dependent word embeddings proved to yield better results in many tasks when compared to sentence encoders trained on entailment datasets. We also show, however, that we are still far away from a universal encoder that can perform consistently across several downstream tasks.

研究の動機と目的

• 最新の文埋め込みの転送性能を多様な下流タスクで評価する。
• プロービングタスクを通じて文埋め込みが捉える言語的性質を調べる。
• 純粋に自己教師あり/無監督型と教師あり手法を比較する。
• どの表現が汎用的な転送を最も支援し、どの言語特徴をエンコードしているかを特定する。

提案手法

• SentEvalフレームワークを用いて下流タスクとプロービングタスクを横断してさまざまな文埋め込み手法を評価する。
• 語彙の平均化（Bag-of-Words）による単語埋め込み（ELMoバリアント、FastText、GloVe、Word2Vec、p-mean）とエンコーダ/デコーダモデル（Skip-Thought、InferSent、USE、Universal Sentence Encoder系）を使用する。
• 下流タスクのために文埋め込みの上に単純なMLP分類器を訓練する（WCプロービングの場合はロジスティック回帰）。
• 埋め込みにおける言語的特徴の把握を分析するため10の言語プロービングタスクを適用する。
• STSベンチマークおよび関連データセットで意味的関連性とテキスト類似性を測定する。
• 方法を横断比較可能にするため標準化されたパイプラインを用いて評価を再現する。

実験結果

リサーチクエスチョン

• RQ1 最近の文埋め込み手法は広範な下流タスクでどの程度の性能を示すのか？
• RQ2 文埋め込みはタスクを超えて普遍的に転移するのか、それとも明確なタスク依存の強みと弱みがあるのか？
• RQ3 異なる埋め込みがどのような言語的性質を符号化しているのか、プロービングタスクによって明らかになる？
• RQ4 言語モデルベースの埋め込み（例: ELMo, USE）はさまざまなタスクで従来のBoW平均より優れているのか？
• RQ5 どの設定がパフォーマンスと計算コストの最も強いバランスを提供するのか？

主な発見

• ELMoとBoW平均（全層）を用いると下流タスクのいくつかでトップの性能を達成し、深い文脈的特徴が転送を助けることを示す。
• InferSentは含意関連タスク（例: SICK-E）や言い換え関連タスクで優れており、SNLI/MNLiのトレーニングの利点を反映している。
• Universal Sentence Encoder（Transformer）はいくつかの下流タスクと意味的類似性ベンチマークで強い性能を示すが、タスクにより結果は異なる。
• p-meanはGloVe/Word2Vec/fastTextの平均より強力なベースラインを提供し、特にリソースが限られている場合に有効。
• 全体として、どの手法もすべてのタスクで一貫した性能を示す普遍的なエンコーダとは言えない。深層言語モデル表現を統合することが有望な方向である。