[論文レビュー] Revisiting Self-Training for Neural Sequence Generation

Junxian He, Jiatao Gu+2 more|arXiv (Cornell University)|Sep 30, 2019

Topic Modeling参考文献 36被引用数 139

ひとこと要約

この論文はニューラル系列生成に対する自己教師付き学習を再検討し、ドロップアウトと入力ノイズ（ノイズ付き自己教師付き学習）を追加することで、MTと要約の半教師あり学習を実質的に改善し、低リソース設定で特にバック翻訳を上回ることもある。

ABSTRACT

Self-training is one of the earliest and simplest semi-supervised methods. The key idea is to augment the original labeled dataset with unlabeled data paired with the model's prediction (i.e. the pseudo-parallel data). While self-training has been extensively studied on classification problems, in complex sequence generation tasks (e.g. machine translation) it is still unclear how self-training works due to the compositionality of the target space. In this work, we first empirically show that self-training is able to decently improve the supervised baseline on neural sequence generation tasks. Through careful examination of the performance gains, we find that the perturbation on the hidden states (i.e. dropout) is critical for self-training to benefit from the pseudo-parallel data, which acts as a regularizer and forces the model to yield close predictions for similar unlabeled inputs. Such effect helps the model correct some incorrect predictions on unlabeled data. To further encourage this mechanism, we propose to inject noise to the input space, resulting in a "noisy" version of self-training. Empirical study on standard machine translation and text summarization benchmarks shows that noisy self-training is able to effectively utilize unlabeled data and improve the performance of the supervised baseline by a large margin.

研究の動機と目的

• ニューラル系列生成タスク（例：機械翻訳とテキスト要約）における自己教師付き学習の性能を評価する。
• 自己教師付き学習がなぜ有効または無効であるかを特定し、利得を生む主要な成分を特定する。
• ノイズ付き自己教師付き学習の変種を提案・検証し、ラベルなしデータの活用を改善する。
• seq2seqモデルにおいて、いつ・どのように自己教師付き学習が改善をもたらすかの実践的指針を提供する。

提案手法

• Lで訓練された基本モデルと、ラベルなしUから得られる疑似並列データSを用いた条件付き系列生成の古典的自己教師付き学習を形式化する。
• S ∪ L 上で新しいモデルを訓練する（まず疑似データから訓練し、次に実データでファインチューニングする）ことで、ベースラインを上回ることを示す。
• 疑似ターゲットを生成するためのデコード戦略（ビームサーチ vs サンプリング）を実験する。
• 疑似訓練中のドロップアウトを、類似の入力に対して類似の予測を生み出すことを可能にする重要な正則化として導入する。
• ドロップアウトに加えて入力摂動（ノイズ）を注入することで、入力-出力写像をさらに滑らかにするノイズ付き自己教師付き学習を提案する。
• MT（WMT 2014 En–De, FloRes En–Ne）およびGigaword要約で、高リソースおよび低リソース設定にわたって経験的検証を行う。

実験結果

リサーチクエスチョン

• RQ1 自己教師付き学習は機械翻訳や要約といったニューラル系列生成タスクでどの程度機能するか。
• RQ2 自己教師付き学習による利得に寄与する要因は何か、そして『悪い』疑似ターゲットが問題となり得るか。
• RQ3 入力と内部表現にノイズを加える（ノイズ付き自己教師付き学習）が、タスクやリソース設定を横断してラベルなしデータの活用を改善できるか。

主な発見

• 自己教師付き学習はニューラル系列生成タスクにおいて教師付きベースラインより有意な改善をもたらす。
• 疑似訓練中の教師/モデルにおけるドロップアウトが、ほとんどの利得を生み出す鍵となる要因で、ラベルなしデータに対して一貫した予測を促す正則化として機能する。
• ビームサーチデコードは利得に控えめに寄与するが、ドロップアウト駆動の摂動が主要な改善源である。
• 入力摂動を疑似訓練プロセスに追加するノイズ付き自己教師付き学習は、機械翻訳とテキスト要約のベンチマーク全体で性能をさらに向上させる。
• On WMT English–German and FloRes English–Nepali, noisy self-training outperforms baselines by 1–6 BLEU points in many settings; it also matches or exceeds back-translation in some cases, especially with limited parallel data.
• In text summarization (Gigaword), noisy self-training often surpasses back-translation with smaller parallel data and approaches state-of-the-art results in full-data pretraining scenarios.