[論文レビュー] Trimming and Improving Skip-thought Vectors

Shuai Tang, Hailin Jin+3 more|arXiv (Cornell University)|Jun 9, 2017

Topic Modeling参考文献 27被引用数 6

ひとこと要約

この論文では、1つのデコーダーを削除し、エンコーダーとデコーダーの間に平均＋最大接続を導入し、事前学習済み単語埋め込みを初期化に用いることで、元のスキップ・スコップモデルよりも高速で軽量でありながら同等の効果を発揮する変種を提案する。得られたモデルは、パrameter数と学習時間を削減しながらも、7つの下流NLPタスクで競争力ある性能を達成した。

ABSTRACT

The skip-thought model has been proven to be effective at learning sentence representations and capturing sentence semantics. In this paper, we propose a suite of techniques to trim and improve it. First, we validate a hypothesis that, given a current sentence, inferring the previous and inferring the next sentence provide similar supervision power, therefore only one decoder for predicting the next sentence is preserved in our trimmed skip-thought model. Second, we present a connection layer between encoder and decoder to help the model to generalize better on semantic relatedness tasks. Third, we found that a good word embedding initialization is also essential for learning better sentence representations. We train our model unsupervised on a large corpus with contiguous sentences, and then evaluate the trained model on 7 supervised tasks, which includes semantic relatedness, paraphrase detection, and text classification benchmarks. We empirically show that, our proposed model is a faster, lighter-weight and equally powerful alternative to the original skip-thought model.

研究の動機と目的

• 元のスキップ・スコップモデルの計算コストとパラメータ量を減らすが、性能を損なわないようにする。
• 前後の文を両方再構成するのではなく、次の文のみを再構成するという、近接性仮説の妥当性を検証する。
• エンコーダーとデコーダー間の特徴統合を強化することで、意味的類似性やその他のNLPタスクにおける汎化性能を向上させる。
• 教師なし文の表現学習における転移学習性能に与える単語埋め込み初期化の影響を調査する。

提案手法

• 前の文デコーダーを廃止し、次の文デコーダーのみを保持することで、モデルの複雑さを軽減し、学習を高速化する。
• エンコーダーとデコーダーの間に平均＋最大接続層を導入し、隠れ状態の要素ごとの平均値と最大値を連結することで、特徴表現を強化する。
• GloVeなどから得られる事前学習済み単語埋め込みを、単語埋め込み層の初期化に用いることで、文の表現品質を向上させる。
• 大規模コーパスからの連続する文のペアを用いて、次の文予測を目的関数とする教師なしでエンドツーエンドにモデルを学習する。
• 系列モデリングに双方向GRUをエンコーダー、自己回帰的RNNをデコーダーとして用いる。
• 文の最終的表現を、意味的類似性、同義文検出、テキスト分類を含む7つの下流タスクで評価する。

実験結果

リサーチクエスチョン

• RQ1 前後の文を両方再構成するのではなく、次の文のみを再構成することで、文の表現タスクの性能が低下するか？
• RQ2 平均＋最大のような非線形的・非パrametricな接続メカニズムは、複雑な意味的相互作用を捉える能力を向上させられるか？
• RQ3 単語埋め込み初期化は、教師なし文の表現の転送性と性能にどのように影響するか？
• RQ4 パラメータ数の増加に比してモデルサイズをどれだけ大きくできるか、そしてその結果、性能が向上するか？

主な発見

• 次の文デコーダーのみを保持する短縮版スキップ・スコップモデルは、7つの下流タスクすべてで元のスキップ・スコップモデルと同等の性能を達成した。
• 平均＋最大接続層は、単純な接続に比べて意味的類似性および同義文検出タスクでの性能を顕著に向上させた。
• 事前学習済み単語埋め込み（例：GloVe）を用いることで、特に意味的類似性およびテキスト分類ベンチマークで顕著な性能向上が得られた。
• エンコーダー次元を増加させることで性能が向上し、元のスキップ・スコップモデルに比べてはるかに少ないパラメータ数を維持した。
• 元のスキップ・スコップモデルに比べて、学習が速く、パラメータ数も少ない一方で、教師なし文の表現学習分野で最先端の性能を維持した。
• 微調整なしに、SICK、SNLI、テキスト分類データセットを含む多様なNLPタスクに、良好に一般化した。