[論文レビュー] Virtual Adversarial Training for Semi-Supervised Text Classification

Takeru Miayto, Andrew M. Dai+1 more|arXiv (Cornell University)|May 25, 2016

Anomaly Detection Techniques and Applications被引用数 40

ひとこと要約

本稿では、生の one-hot 入力ではなく再帰的ニューラルネットワーク内の単語埋め込みに摂動を適用する、テキスト分類のための新しい仮想 adversarial training 法を提案する。この手法により、効果的な半教師あり学習が可能となり、複数のベンチマークタスクで最先端の性能を達成する。また、埋め込みの質を向上させ、過学習を軽減する。

ABSTRACT

Adversarial training provides a means of regularizing supervised learning algorithms while virtual adversarial training is able to extend supervised learning algorithms to the semi-supervised setting. However, both methods require making small perturbations to numerous entries of the input vector, which is inappropriate for sparse high-dimensional inputs such as one-hot word representations. We extend adversarial and virtual adversarial training to the text domain by applying perturbations to the word embeddings in a recurrent neural network rather than to the original input itself. The proposed method achieves state of the art results on multiple benchmark semi-supervised and purely supervised tasks. We provide visualizations and analysis showing that the learned word embeddings have improved in quality and that while training, the model is less prone to overfitting.

研究の動機と目的

• one-hot 単語表現のようなスパースで高次元なテキスト入力における標準的な adversarial training の限界を解消すること。
• 生の入力ベクトルではなく単語埋め込み上で動作することで、仮想 adversarial training をテキスト分野に拡張すること。
• 半教師ありおよび教師ありテキスト分類タスクにおける一般化性能の向上と過学習の軽減。
• adversarial regularization を通じて、学習された単語埋め込みの質を向上させること。

提案手法

• 生の one-hot 入力ベクトルではなく、再帰的ニューラルネットワーク内の単語埋め込みに摂動を適用する。
• ラベルのない摂動済み入力に対して、予測の分散を最大化する摂動を生成する仮想 adversarial training を使用する。
• 計算コストを低減するために、1次近似を用いて摂動を計算する。
• ラベル付きデータに対する教師あり損失と、ラベル付きおよびラベルなしデータに対する一貫性正則化の組み合わせでモデルを訓練する。
• 単語埋め込みの連続性を活用して、意味のある adversarial な例を生成し、モデルのロバスト性を向上させる。
• RNN をベースとするテキスト分類器にこの手法を適用し、標準的なベンチマークデータセットで評価する。

実験結果

リサーチクエスチョン

• RQ1 スパースで高次元な入力であるテキスト分類に、仮想 adversarial training が効果的に適応可能か。
• RQ2 生の入力ではなく単語埋め込みに摂動を加えることで、半教師あり学習における一般化性能が向上するか。
• RQ3 提案手法は、既存の教師ありおよび半教師ありベースラインと比較して、正確性とロバスト性の面で優れているか。
• RQ4 adversarial training が、テキストモデルにおける学習された単語埋め込みの質をどの程度向上させるか。

主な発見

• 提案手法は、複数のベンチマーク半教師ありおよび完全に教師ありのテキスト分類タスクで最先端の性能を達成した。
• 特にリソースが限られたラベル付きデータ環境下で、訓練中に過学習が顕著に軽減された。
• 可視化の結果、本手法で学習された単語埋め込みは、より優れた意味的構造と質を示している。
• 本手法は、単語埋め込みへの微小な摂動に対して予測の一貫性を促進することで、モデルの正則化を効果的に行っている。