[論文レビュー] Skip-Thought Vectors

Ryan Kiros, Yukun Zhu+5 more|arXiv (Cornell University)|Jun 22, 2015

Topic Modeling参考文献 38被引用数 725

ひとこと要約

この論文では、書籍コーパス内の周囲の文を再構築するオートエンコーディング目的を用いて、一般的で分散表現された文の表現を学習する方法であるSkip-Thought Vectorsを紹介する。モデルは、凍結された埋め込み表現に線形分類器を適用することで、8つの多様なNLPタスクにおいて強力なゼロショット性能を達成し、堅牢で即戦可能な文の表現ベースラインを確立した。

ABSTRACT

We describe an approach for unsupervised learning of a generic, distributed sentence encoder. Using the continuity of text from books, we train an encoder-decoder model that tries to reconstruct the surrounding sentences of an encoded passage. Sentences that share semantic and syntactic properties are thus mapped to similar vector representations. We next introduce a simple vocabulary expansion method to encode words that were not seen as part of training, allowing us to expand our vocabulary to a million words. After training our model, we extract and evaluate our vectors with linear models on 8 tasks: semantic relatedness, paraphrase detection, image-sentence ranking, question-type classification and 4 benchmark sentiment and subjectivity datasets. The end result is an off-the-shelf encoder that can produce highly generic sentence representations that are robust and perform well in practice. We will make our encoder publicly available.

研究の動機と目的

• タスク固有の微調整なしに、汎用的で転移可能な文の表現を学習する非教師あり手法の開発。
• 特定タスクに最適化された文エンコーダーの限界、すなわちそのターゲットアプリケーションでのみ最適化されていることの是正。
• 事前学習済みのword2vecベクトルからの線形マッピングにより、未知語の取り扱いを可能にする文符号化のための手法。
• さらなる適応なしに、多様なNLPタスクにおける文の埋め込み表現の一般化能力の評価。

提案手法

• 与えられた文の直前および直後の文を再構築するように、エンコーダ-デコーダモデルを訓練する。この際、エンコードされた文を文脈として用いる。
• 連続したテキストシーケンスとしての訓練コーパスとして、7400万の文を含む11,038冊のBookCorpusデータセットを用いる。
• 文のレベルで変更されたスキップグラム目的を適用し、周囲の単語ではなく周囲の文をターゲットとする。
• 事前学習済みのword2vec埋め込みからモデルの語彙埋め込み空間への線形マッピングを学習することで、語彙拡張技術を導入し、OOV語の符号化を可能にする。
• 訓練後、エンコーダーを凍結し、線形分類器を用いて下流タスクの特徴抽出器として固定して使用する。
• t-SNE可視化を用いて、TREC、SUBJ、SICKなどのデータセットにおける文の表現の意味的クラスタリングを評価する。

実験結果

リサーチクエスチョン

• RQ1 文の連続性に基づく非教師あり目的は、多様なNLPタスクに広く一般化できる汎用的な文の表現を生成できるか？
• RQ2 スイッチト・ベクトルの性能は、感情分析や主題性タスクなど、ボックストラックの強いベースライン（例：bag-of-wordsや教師ありモデル）と比較して、ゼロショット転移学習でどうなるか？
• RQ3 トレーニング中に見られなかった未知語（OOV語）に対して、モデルはどの程度一般化できるか？
• RQ4 最近接の近傍解析やt-SNE可視化によって示されるように、学習された文の表現は意味的・構文的構造を適切に捉えているか？

主な発見

• Skip-Thought Vectorsは、凍結された埋め込み表現に線形分類器を適用するだけで、8つの多様なNLPタスクで強力な性能を発揮し、堅牢なゼロショット転送性を示した。
• SICKデータセットでは、文のペア関連性分類で87.5％の正確度を達成し、多くの非教師あり手法を上回った。
• 感情分析や主題性タスクにおいて、NB-SVMなどの強力なbag-of-wordsベースラインと同等の性能を示した。特に、skip-thoughts-NBの組み合わせは、MRデータセットで93.6％の正確度を達成し、当該タスクで最先端の結果を出した。
• t-SNE可視化では、関連性ラベルを一切使用しない状態でも、意味的および構文的に類似した文のペアが埋め込み空間でクラスタリングされていることが確認された。
• 初期文を入力として与えると、モデルは一貫性があり、新規に作られたようなテキストを生成することができ、学習された表現が物語的構造と文の流れを適切に捉えていることを示している。
• 語彙拡張手法により、word2vecからモデルの埋め込み空間への未知語のマッピングが成功しており、稀な語やトレーニング時に見られなかった語の符号化が可能になった。