[論文レビュー] Context-based Virtual Adversarial Training for Text Classification with Noisy Labels

Do-Myoung Lee, Yeachan Kim+1 more|arXiv (Cornell University)|May 29, 2022

Anomaly Detection Techniques and Applications被引用数 4

ひとこと要約

本稿では、文脈的特徴表現に対して adversarial training を行うネットワークに依存しない手法、Context-based Virtual Adversarial Training (ConVAT) を提案する。この手法は、語彙レベルの入力ではなく文脈的特徴表現上で adversarial training を行うことで、ラベルノイズの高い文書分類タスクにおけるモデルの頑健性を向上させる。ConVAT は、標準的な VAT よりも著しく時間的・メモリ的コストを削減しつつ、最先端の性能を達成しており、ラベルノイズの記録を記憶するのを効果的に防ぎつつ、4つのベンチマークデータセットにおいて高ノイズ率下でも優れた汎化性能を維持する。

ABSTRACT

Deep neural networks (DNNs) have a high capacity to completely memorize noisy labels given sufficient training time, and its memorization, unfortunately, leads to performance degradation. Recently, virtual adversarial training (VAT) attracts attention as it could further improve the generalization of DNNs in semi-supervised learning. The driving force behind VAT is to prevent the models from overfitting data points by enforcing consistency between the inputs and the perturbed inputs. This strategy could be helpful in learning from noisy labels if it prevents neural models from learning noisy samples while encouraging the models to generalize clean samples. In this paper, we propose context-based virtual adversarial training (ConVAT) to prevent a text classifier from overfitting to noisy labels. Unlike the previous works, the proposed method performs the adversarial training at the context level rather than the inputs. It makes the classifier not only learn its label but also its contextual neighbors, which alleviates the learning from noisy labels by preserving contextual semantics on each data point. We conduct extensive experiments on four text classification datasets with two types of label noises. Comprehensive experimental results clearly show that the proposed method works quite well even with extremely noisy settings.

研究の動機と目的

• 深層ニューラルネットワークが文書分類タスクにおいてノイズの多いラベルに過学習する問題に対処すること。
• 継続的な一貫性をクリアなサンプルとその文脈的近傍との間で強制することで、モデルの汎化性能を向上させること。
• 標準的なバーチャル adversarial training (VAT) と比較して、計算およびメモリのオーバーヘッドを低減すること。
• 追加の学習パラメータを必要としない、ネットワークに依存しない手法を開発すること。
• 複数の文書分類データセットにおいて、極端なラベルノイズ環境下での有効性を示すこと。

提案手法

• ConVAT は語彙レベルの入力ではなく、文脈的特徴空間上で adversarial training を行い、文脈的表現に焦点を当てる。
• 与えられたサンプル上で分類損失を最大にする最悪の摂動を特定するための min-max 最適化問題を定式化する。
• 元の文脈ベクトルと摂動を加えた文脈ベクトルの分布的距離を最小化することで、頑健性と滑らかさを強制する。
• 勾配はソフトマックス層からのみ計算されるため、VAT におけるフルネットワークの逆誤差伝搬と比較して、メモリおよび計算コストを削減する。
• ネットワーク構造の変更や追加パラメータの追加なしに、学習中に適用される。
• adversarial 摂動を通じてラベルスムージングを暗黙的に実装し、過信度を低下させ、ノイズの多いラベルの記憶を防止する。

実験結果

リサーチクエスチョン

• RQ1 文脈レベルでの adversarial training は、文書分類におけるラベルノイズに対する頑健性を向上させることができるか？
• RQ2 語彙レベルの VAT と比較して、文脈レベルの adversarial training はノイズの多いラベルへの過学習を低減するか？
• RQ3 標準的な VAT と比較して、ConVAT はより低い時間的・メモリ的複雑性で優れた性能を達成できるか？
• RQ4 摂動の大きさ（epsilon）の選択が、異なるノイズ率下での性能にどのように影響するか？
• RQ5 異なるノイズパターンを持つ多様な文書分類データセットにおいて、ConVAT は有効性を示すか？

主な発見

• ConVAT は、一様およびクラス条件付きラベルノイズの両設定下で、4つの文書分類データセットにおいて最先端の手法を上回る性能を示した。
• ConVAT で学習されたモデルは、50%のノイズ率でさえも、安定的かつ徐々に向上する検証精度を示しており、ノイズの多いラベルへの過学習がないことを示している。
• ConVAT は、特に深層ネットワークにおいて、標準的な VAT と比較して最大5倍の高速化と顕著なメモリ使用量の削減を達成した。
• t-SNE の可視化結果から、ConVAT からの文脈ベクトルは、トレーニング全体を通してクラスに特徴的なクラスタ構造を維持していることが確認された。一方、CNN はクラスタ構造を失う傾向にあった。
• 最適な epsilon 値はノイズ率に応じて増加し、グリッドサーチの結果、より高いノイズ率ではより大きな摂動の大きさが最良の性能をもたらすことが確認された。
• 極めて高いノイズレベル下でも、ConVAT は一貫した性能向上を示し、一貫した頑健性を示した。