[論文レビュー] Word Embedding Perturbation for Sentence Classification

Dongxu Zhang, Zhichao Yang|arXiv (Cornell University)|Apr 22, 2018

Topic Modeling参考文献 21被引用数 35

ひとこと要約

この論文では、事前学習済み単語埋め込みにノイズを追加することで、文分類における過学習を軽減するデータ拡張手法として単語埋め込みの摂動を提案する。制約付きの adversarial データ拡張は、複数の NLP タスクで一貫して性能を向上させ、特に限られた学習データにおいて標準的なドロップアウトやガウスノイズ手法を上回ることを示している。

ABSTRACT

In this technique report, we aim to mitigate the overfitting problem of natural language by applying data augmentation methods. Specifically, we attempt several types of noise to perturb the input word embedding, such as Gaussian noise, Bernoulli noise, and adversarial noise, etc. We also apply several constraints on different types of noise. By implementing these proposed data augmentation methods, the baseline models can gain improvements on several sentence classification tasks.

研究の動機と目的

• 小規模な教師あり NLP データセットで学習されたニューラルネットワークモデルにおける過学習を緩和すること。
• 外部知識や離散的テキスト操作に依存せずに、連続的な単語埋め込み空間におけるデータ拡張手法を検討すること。
• ガウス、ベルヌーイ、および adversarial のさまざまなノイズタイプが文分類性能に与える影響を評価すること。
• ノイズに空間的制約や損失に基づく adversarial 制約を課すことで、モデルの一般化性能がどのように向上するかを調査すること。
• 連続的ノイズ（ガウス）と離散的ノイズ（ベルヌーイ）のモデル性能および頑健性の観点での比較

提案手法

• ガウスノイズを、入力単語埋め込み系列に対して標準正規分布からサンプリングされたノイズ行列による要素ごとの乗算で適用する：$ X_{emb} \leftarrow X_{emb} \odot e, e \sim \mathcal{N}(I, \sigma^2 I) $。
• ベルヌーイノイズをドロップアウトの一種として実装する：$ X_{emb} \leftarrow (1/p)X_{emb} \odot e, e \sim \mathcal{B}(n,p) $、ここで単位が確率 $ 1-p $ でランダムにゼロになる。
• adversarial データ拡張により、損失を最大化する摂動を生成する：$ e \leftarrow e + \sigma g / \|g\| $、ここで $ g = \nabla_e L(X;\theta) $。
• 単語ドロップアウト、意味的ドロップアウト、損失に基づく adversarial ノイズなどの制約付きバージョンを導入し、文脈的または意味的構造を保持することでモデルの頑健性を向上させる。
• 摂動は訓練時のみに適用し、推論時には元の入力を維持する。
• 多チャネル CNN およびマルチパースペクティブ CNN モデルを用いて文分類を実行し、微調整または固定重みを用いた事前学習済み word2vec および GloVe 埋め込みを採用する。

実験結果

リサーチクエスチョン

• RQ1 限られた学習データを用いた文分類タスクにおいて、単語埋め込みに連続的ノイズを追加することで一般化性能が向上するか？
• RQ2 ガウス、ベルヌーイ、adversarial の異なるノイズタイプが、複数の NLP ベンチマークで性能と安定性の観点からどのように比較されるか？
• RQ3 ノイズに空間的制約や損失に基づく adversarial 制約を課すことで、制約なしのノイズよりもモデルの頑健性と性能が向上するか？
• RQ4 連続的ノイズ（例：ガウス）は、離散的ノイズ（例：ベルヌーイドロップアウト）よりも、モデル性能を維持しながら一般化を強化するのに効果的か？
• RQ5 訓練データサイズが減少するに従って、単語埋め込み摂動の有効性はどのように変化するか？

主な発見

• 制約付き adversarial データ拡張は、すべてのデータセットで一貫して性能を向上させ、ベースラインより 0.1% から 0.4% の向上を示した。
• ガウスノイズを用いた adversarial ノイズは、SST および TrecQA データセットで顕著な改善を示し、頑健性の向上に有効であることを示している。
• ベルヌーイ意味的ノイズは有望ではあるが、TrecQA データセットでは安定性に欠けることが判明し、意味的制約への感受性が示唆された。
• 連続的ノイズ（ガウス、ガウス adversarial）は離散的ノイズ（ベルヌーイ、adversarial ドロップアウト）を上回るか同等の性能を示し、より高いエントロピーと滑らかな摂動のためと考えられる。
• 摂動による性能向上は、訓練データサイズが小さくなるほど顕著に増大し、特に小さなデータセットでより強い利点を示した。
• 単語ドロップアウトや意味的ドロップアウトなどの制約は、シンプルなドロップアウトを上回る性能を示し、文脈に配慮したノイズ設計がモデルの一般化を向上させることを示唆している。