[論文レビュー] Universal Sentence Encoder

Daniel Cer, Yinfei Yang+11 more|arXiv (Cornell University)|Mar 29, 2018

Topic Modeling参考文献 18被引用数 1,292

ひとこと要約

この論文は転用可能な文の埋め込みを生成する2つの文エンコーダー（TransformerベースとDeep Averaging Network）を紹介し、多様なNLPタスクに適用可能であることを示す。データ、リソース、バイアスを分析し、低リソースでの転移性能が強いことを示す。

ABSTRACT

We present models for encoding sentences into embedding vectors that specifically target transfer learning to other NLP tasks. The models are efficient and result in accurate performance on diverse transfer tasks. Two variants of the encoding models allow for trade-offs between accuracy and compute resources. For both variants, we investigate and report the relationship between model complexity, resource consumption, the availability of transfer task training data, and task performance. Comparisons are made with baselines that use word level transfer learning via pretrained word embeddings as well as baselines do not use any transfer learning. We find that transfer learning using sentence embeddings tends to outperform word level transfer. With transfer learning via sentence embeddings, we observe surprisingly good performance with minimal amounts of supervised training data for a transfer task. We obtain encouraging results on Word Embedding Association Tests (WEAT) targeted at detecting model bias. Our pre-trained sentence encoding models are made freely available for download and on TF Hub.

研究の動機と目的

• NLPにおけるデータ不足に対処し、下流タスクへ高品質な文の埋め込みを転移させやすく提供する。
• 精度・速度・リソース使用量の観点で、2つのエンコーディングアーキテクチャ（TransformerとDAN）を比較する。
• 異なる量のタスク固有ラベルデータを用いて、複数のNLPタスクにおける転移学習性能を評価する。
• WEATを用いた文埋め込みの潜在バイアスを調査し、語レベルのベースラインと比較する。

提案手法

• 2つの文エンコーダを提案する。TransformerベースのエンコーダとDeep Averaging Network (DAN) エンコーダ。
• 両モデルはマルチタスク目的で訓練され、SNLIからの教師ありデータを追加している。
• 埋め込みは512次元のベクトルで、下流タスクモデルに入力される。評価には意味的テキスト類似性と転移タスクを含む。
• 転移タスクの予測は、タスク固有のニューラルネットワークを用いるか、文埋め込み間の直接的な類似度を用いる。
• 文埋め込み間の類似度は、論文で定義されるAngular distanceを用いて測定される。

実験結果

リサーチクエスチョン

• RQ1 TransformerベースおよびDANベースの universal sentence encoders は、転移タスクの性能でどのように比較されるか？
• RQ2 高い転移性能を達成するためのモデルの複雑さ、計算資源、データ要件のトレードオフは何か？
• RQ3 文レベルの埋め込みは、さまざまなNLPタスクにおいて語レベルの転移ベースラインを上回るか？
• RQ4 タスクデータが不足している場合、文レベルおよび語レベルの転移の追加は性能にどう影響するか？
• RQ5 WEAT分析を通じて universal sentence encoder に検出されるバイアスは何か、そしてそれらは語埋め込みバイアスとどう比較されるか？

主な発見

Model	MR	CR	SUBJ	MPQA	TREC	SST	STS Bench
Sentence & Word Embedding Transfer Learning	77.11	81.71	93.12	87.01	94.72	82.14	–
USE_T+CNN (w2v w.e.)	78.20	82.04	93.24	85.87	97.67	85.29	–
USE_D+CNN (w2v w.e.)	81.18	87.45	93.58	87.32	98.07	86.69	–
USE_D+DAN (w2v w.e.)	81.32	86.66	93.90	88.14	95.51	86.62	–
Sentence Embedding Transfer Learning USE_D	74.45	80.97	92.65	85.38	91.19	77.62	0.763 / 0.719 (r)
Sentence Embedding Transfer Learning USE_T	81.44	87.43	93.87	86.98	92.51	85.38	0.814 / 0.782 (r)
USE_D+DAN (lrn w.e.)	77.57	81.93	92.91	85.97	95.86	83.41	–
USE_D+CNN (lrn w.e.)	78.49	81.49	92.99	85.53	97.71	85.27	–
USE_T+DAN (lrn w.e.)	81.36	86.08	93.66	87.14	96.60	86.24	–
USE_T+CNN (lrn w.e.)	81.59	86.45	93.36	86.85	97.44	87.21	–
DAN (w2v w.e.)	74.75	75.24	90.80	81.25	85.69	80.24	–
CNN (w2v w.e.)	75.10	80.18	90.84	81.38	97.32	83.74	–
DAN (lrn w.e.)	66.87	71.23	73.70	77.85	78.07	80.15	81.52
CNN (lrn w.e.)	67.98	71.81	74.90	79.14	81.04	82.72	84.90

• Transformerベースの USE は、転移タスクで一般的に DANベースの USE と同等または上回り、リソースコストが増加するほど精度が高くなる。
• DAN は推論が速く、メモリ使用量も少なく、いくつかのタスクで競争力のある性能を示す。
• 文レベルの転移学習は、ほとんどのタスクで語レベル転移のみを上回る傾向があり、両者を組み合わせると全体として最良の結果になる。
• ターゲットタスクデータが限られている場合、USE_T（Transformer）は高い性能を発揮し、はるかに大きなデータで訓練されたモデルに近い、あるいは同等となる。
• WEAT分析はDANバリアントがGloVeと類似したバイアスを示すが、総じて弱いことを示しており、訓練データの構成に依存する。
• 事前訓練済みエンコーダはTF Hubの利用と研究のために公開されている。