[論文レビュー] On the Effective Use of Pretraining for Natural Language Inference

Ignacio Cases, Minh-Thang Luong+1 more|arXiv (Cornell University)|Oct 5, 2017

Topic Modeling参考文献 34被引用数 7

ひとこと要約

本稿は、注意メカニズムを用いたシーケンス・ツー・シーケンスモデルを用いて、自然言語推論（NLI）における事前学習済み単語埋め込み（GloVe、word2vec、およびリトロフィット済みバージョン）の有効な使用法を調査する。事前学習済み埋め込みはランダム初期化を著しく上回り、直交初期化は最大2.9%の精度向上をもたらすが、WordNet情報によるリトロフィットは、構成的意味的複雑さを伴う複雑なNLIタスクでは性能を劣化させる。

ABSTRACT

Neural networks have excelled at many NLP tasks, but there remain open questions about the performance of pretrained distributed word representations and their interaction with weight initialization and other hyperparameters. We address these questions empirically using attention-based sequence-to-sequence models for natural language inference (NLI). Specifically, we compare three types of embeddings: random, pretrained (GloVe, word2vec), and retrofitted (pretrained plus WordNet information). We show that pretrained embeddings outperform both random and retrofitted ones in a large NLI corpus. Further experiments on more controlled data sets shed light on the contexts for which retrofitted embeddings can be useful. We also explore two principled approaches to initializing the rest of the model parameters, Gaussian and orthogonal, showing that the latter yields gains of up to 2.9% in the NLI task.

研究の動機と目的

• 事前学習済み単語埋め込み（GloVe、word2vec）およびリトロフィット済み埋め込みが自然言語推論（NLI）性能に与える影響を評価すること。
• 重み初期化手法（ガウス分布 vs. 直交）が、NLIにおけるモデルの収束性および精度に与える影響を調査すること。
• WordNetに基づく含意関係情報で埋め込みをリトロフィットすることで、NLIタスクの性能が向上するか、あるいは劣化するかを特定すること。
• 構成的意味的複雑さ（特に否定）が、異なる埋め込みタイプの性能に与える影響を分析すること。
• 大規模なSNLIデータを用いたシーケンス・ツー・シーケンスモデルにおける最適なハイパーパramータ設定を同定すること。

提案手法

• SNLIコーパスにおける文のペア間の含意、矛盾、独立の分類を目的とした、注意メカニズムを用いたシーケンス・ツー・シーケンスモデルアーキテクチャを採用する。
• ランダム初期化、事前学習済み（GloVeおよびword2vec）、およびリトロフィット済み（事前学習済みに加えてWordNetの意味的関係を統合）の3種類の埋め込みタイプを比較する。
• 最適な設定を同定するために、学習率、初期化範囲、埋め込み次元、再訓練スケジュールの各ハイパーパramータについて大規模な探索を実施する。
• 直交初期化を適用し、深層ネットワークにおける勾配安定性を維持し、最適化を改善する。
• 構成的意味的複雑さ（例：'not not not p'）が増加する合成否定データセットを用いた制御実験を実施し、意味構造の影響を埋め込み性能に分離して評価する。
• 勾配クリッピング、ドロップアウト（0.2）、バッチサイズ32、およびエポック5から開始し要因0.8の学習率スケジュールを適用する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み単語埋め込み（GloVeまたはword2vec）は、ランダム初期化と比較してNLI性能を向上させるか？
• RQ2 事前学習済み埋め込みを用いたNLIモデルにおいて、直交初期化はガウス初期化よりも優れた性能を示すか？
• RQ3 WordNetに基づく含意関係情報で事前学習済み埋め込みをリトロフィットすることで、NLI精度が向上するか、特に複雑な文において向上するか？
• RQ4 構成的意味的複雑さ（特に多段階の否定）が、リトロフィット済み埋め込みの性能に与える影響はいかほどか？
• RQ5 どのような条件下でリトロフィットが効果を発揮し、またどのような状況で性能を劣化させるか？

主な発見

• 事前学習済み埋め込み（GloVeおよびword2vec）は、SNLIデータセットにおいてランダム初期化を著しく上回り、GloVeが最高の精度を達成した。
• 直交初期化はガウス初期化と比較して、NLI精度に最大2.9%の絶対的向上をもたらした。
• WordNetに基づく含意知識を統合したにもかかわらず、リトロフィット済み埋め込みはSNLIデータセット全体の性能を劣化させた。
• 構成的意味的複雑さが増加する制御された否定データセットでは、リトロフィット済み埋め込みの性能が急激に低下し（例：'not not not p'）、構成的複雑さに敏感であることが示された。
• リトロフィットによる性能低下は、高次元空間における小さな非一様な摂動が最適化経路を乱すことに起因し、特に複雑な意味的文脈で顕著に現れた。
• リトロフィットが複雑なNLIタスクで性能を劣化させることを踏まえても、依然としてランダム初期化を上回る性能を示しており、事前学習の利点が全体的に有効であることが確認された。