[論文レビュー] How Transferable are Neural Networks in NLP Applications?

Lili Mou, Meng Zhao+5 more|arXiv (Cornell University)|Mar 19, 2016

Topic Modeling参考文献 23被引用数 86

ひとこと要約

本稿は、CNNおよびLSTM-RNNモデルを用いて6つのデータセットに対して体系的な実験を実施し、NLPにおけるニューラルネットワークの転送可能性を調査している。転送可能性は、元タスクとターゲットタスクの意味的類似度に強く依存しており、単語埋め込みは異なる意味的文脈間でも転送可能であるが、出力層はそうではない。マルチタスク学習とパラメータ初期化は同等の性能を示し、両者を組み合わせても顕著な向上は得られない。

ABSTRACT

Transfer learning is aimed to make use of valuable knowledge in a source domain to help model performance in a target domain. It is particularly important to neural networks, which are very likely to be overfitting. In some fields like image processing, many studies have shown the effectiveness of neural network-based transfer learning. For neural NLP, however, existing studies have only casually applied transfer learning, and conclusions are inconsistent. In this paper, we conduct systematic case studies and provide an illuminating picture on the transferability of neural networks in NLP.

研究の動機と目的

• 不一致な先行研究結果を踏まえ、NLP応用におけるニューラルネットワークの転送可能性を体系的に評価すること。
• 低リソースNLPタスクにおいて、パラメータ初期化（INIT）またはマルチタスク学習（MULT）による転学習が性能を向上させるかどうかを調査すること。
• 異なるタスクおよびアーキテクチャ間で、ニューラルネットワークの個々の層の転送可能性を分析すること。
• INITとMULTを併用することで、NLPの転移学習においてさらなる性能向上が得られるかどうかを検証すること。
• コンピュータビジョンとは対照的に、NLPにおけるニューラルネットワーク転送がどの条件下で効果的であるかを実証的に解明すること。

提案手法

• IMDB、MR、QC、SNLI、SICK、MSRPの6つのNLPデータセットを用い、文および文対分類タスクをカバーする。
• 広く採用されている2つのアーキテクチャ（畳み込みニューラルネットワーク（CNN）および長短期記憶再帰ニューラルネットワーク（LSTM-RNN））を用いた。
• 2つの転送手法を適用した：(1) INIT—元タスクで事前学習したパラメータをターゲットタスクの初期化に使用；(2) MULT—元タスクとターゲットタスクを共有された埋め込みおよび隠れ層を用いて同時に学習。
• MULTでは、元タスクとターゲットタスクの損失寄与度を調整するハイパーパラメータλ ∈ (0,1)を導入し、0.1刻みでチューニングした後、0.01～0.09の範囲で0.02刻みに細分化して最適化した。
• 異なるλ値におけるピーク精度を評価し、非転送ベースラインと比較した。
• 層ごとの転送可能性を分析するため、単語埋め込み、隠れ層、出力層の寄与度を検討した。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 意味的に類似または異なる2つのNLPタスク間で、ニューラルネットワークの転送可能性はどの程度か？
• RQ2 RQ2: NLPニューラルモデルにおける個々の層（例：単語埋め込み、隠れ層、出力層）の転送可能性はどの程度か？
• RQ3 RQ3: INITとMULTはそれぞれどの程度有効か？また、両者を併用することでさらなる性能向上が得られるか？
• RQ4 RQ4: 元データセットとターゲットデータセット間の意味的類似度は、NLPにおける転送可能性にどのように影響するか？
• RQ5 RQ5: これらの観察された転送パターンは、異なるニューラルアーキテクチャ（CNN対LSTM-RNN）およびデータセット間で一貫しているか？

主な発見

• NLPにおける転送可能性は、元タスクとターゲットタスクの意味的類似度に強く依存しており、画像処理とは異なり、多様なタスク間でも転送が安定するわけではない。
• 単語埋め込みは意味的に異なるタスク間でも転送可能であり、一般化された言語的パターンを捉えている可能性がある。
• 出力層は非常にデータセット特有であり、転送可能性が極めて低い。これは、タスク最適化されており再利用が難しいことを示している。
• マルチタスク学習（MULT）とパラメータ初期化（INIT）は、実験全体を通して同等の性能を示し、SNLI + SICKの例ではMULTがわずかにINITを上回り、IMDB + MRの例では逆にINITがやや優れているなど、状況に応じて優劣が入り交じる。
• INITとMULTを併用しても追加の性能向上は得られず、併用手法のピーク性能はいずれの手法単体の範囲内に収まっている。
• QCおよびMSRPの実験では、MULTおよびINITの両方とも非転送ベースラインを上回る性能向上が得られず、タスク間の意味的類似度が低い場合には転送が効果的でないことが確認された。