[論文レビュー] Supervised Learning of Universal Sentence Representations from Natural Language Inference Data

Alexis Conneau, Douwe Kiela+3 more|arXiv (Cornell University)|May 5, 2017

Topic Modeling参考文献 48被引用数 2,056

ひとこと要約

著者らは SNLI で監督付き学習を用いて訓練した universal sentence embeddings が、SkipThought のような教師なし手法を含む広範な転移タスクで凌駕し得ることを示し、BiLSTM 最大プーリングエンコーダが最先端の結果を提供する。SNLI での訓練により、より高速で高品質な転移可能な文表現が得られる。

ABSTRACT

Many modern NLP systems rely on word embeddings, previously trained in an unsupervised manner on large corpora, as base features. Efforts to obtain embeddings for larger chunks of text, such as sentences, have however not been so successful. Several attempts at learning unsupervised representations of sentences have not reached satisfactory enough performance to be widely adopted. In this paper, we show how universal sentence representations trained using the supervised data of the Stanford Natural Language Inference datasets can consistently outperform unsupervised methods like SkipThought vectors on a wide range of transfer tasks. Much like how computer vision uses ImageNet to obtain features, which can then be transferred to other tasks, our work tends to indicate the suitability of natural language inference for transfer learning to other NLP tasks. Our encoder is publicly available.

研究の動機と目的

• 監督付きデータを用いて一般用途の文エンコーダを学習できるかを調査する。
• 複数の文エンコーダアーキテクチャを比較し、どれがタスク間で最も良く転移するかを特定する。
• 自然言語推論（SNLI）での訓練が、他の監督付きまたは教師なしアプローチよりも転移性能を高めることを実証する。
• 提案された文表現の訓練とデプロイの効率性と実用性を評価する。

提案手法

• SNLI 自然言語推論データセット上で共有エンコーダを用いて premise と hypothesis の表現を生成する文エンコーダを訓練する。
• エンコードされた文ペアに対して 3 つのマッチング手法（連結、要素ごとの積、絶対差）を適用し、その後ソフトマックス分類器で含意/矛盾/中立を判断する。
• Mean または Max プーリングを用いた LSTM/GRU/BiLSTM、自己注意ネットワーク、階層的畳み込みネットなど、転移可能性を評価するためのさまざまなエンコーダアーキテクチャを評価する。
• 転移評価のために語当埋め込み（GloVe）を固定し、トップにロジスティック回帰で分類器を訓練する。
• SentEval を用いて、12 の下流タスク（2値および多クラス分類、含意、意味的関連、画像キャプションタスクを含む）にわたる転移評価を自動化する。

実験結果

リサーチクエスチョン

• RQ1 SNLI で訓練された監督付き文エンコーダは、さまざまな NLP タスクに転移する普遍的な表現を提供できるか。
• RQ2 SNLI で訓練したとき、どのエンコーダアーキテクチャが転送可能な意味情報を最もよく保持するか。
• RQ3 SNLI の supervised 学習は、転移タスクにおいて他の supervised または unsupervised の文表現学習手法を上回るか。
• RQ4 埋め込みサイズは、アーキテクチャ間で転移性能にどのように影響するか。
• RQ5 データの多様性（例：SNLI 対 MultiNLI）がおの文表現の一般化に与える影響はどの程度か。

主な発見

• SNLI で訓練した max pooling を持つ BiLSTM は、多くのタスクで強力な転移性能を示し、SkipThought のような教師なし手法をいくつかの指標で上回る。
• SNLI タスクで最も良く機能するいくつかのアーキテクチャは、タスクのバイアスに過適応して転移タスクで劣ることがあるため、一般化性の高いアーキテクチャの必要性を示している。
• より大きな埋め込みサイズは一般に複数のモデルで転移性能を向上させる傾向があり、豊かな表現が下流タスクを助けることを示唆している。
• SNLI で学習した埋め込みは、COCO、辞書定義、NMT などの他の supervised タスク学習埋め込みを転移設定で上回ることが多く、NLI が捉える意味構造が高く転送可能であることを示す。
• SNLI で訓練（および MultiNLI を含む AllNLI）を行うと、異分野・異ジャンルのタスク（例：SICK-E, SICK-R）での性能が向上し、頑健性が示される。
• 画像キャプション検索では、SNLI 訓練済み BiLSTM-max の埋め込みが競争力のある結果を達成し、強力な視覚特徴と組み合わせると一部の直接訓練ベースラインをほぼ上回ることがある。