[論文レビュー] DoubleMix: Simple Interpolation-Based Data Augmentation for Text Classification

Hui Chen, Wei Han+2 more|arXiv (Cornell University)|Sep 12, 2022

Text and Document Classification Technologies被引用数 9

ひとこと要約

DoubleMix は、ニューラルネットワークの隠れ空間における2段階の補間を用いてモデルのロバスト性を向上させる、シンプルでありながら効果的なテキスト分類のデータ拡張手法である。まず訓練サンプルの摂動版を生成し、その後複数の隠れ層でそれらを元の入力と補間することで、6つのベンチマークデータセットおよびリソースが限られた環境でも、従来のトークンレベル・文レベル・隠れ層レベルの拡張手法を上回る性能を発揮する。

ABSTRACT

This paper proposes a simple yet effective interpolation-based data augmentation approach termed DoubleMix, to improve the robustness of models in text classification. DoubleMix first leverages a couple of simple augmentation operations to generate several perturbed samples for each training data, and then uses the perturbed data and original data to carry out a two-step interpolation in the hidden space of neural models. Concretely, it first mixes up the perturbed data to a synthetic sample and then mixes up the original data and the synthetic perturbed data. DoubleMix enhances models' robustness by learning the "shifted" features in hidden space. On six text classification benchmark datasets, our approach outperforms several popular text augmentation methods including token-level, sentence-level, and hidden-level data augmentation techniques. Also, experiments in low-resource settings show our approach consistently improves models' performance when the training data is scarce. Extensive ablation studies and case studies confirm that each component of our approach contributes to the final performance and show that our approach exhibits superior performance on challenging counterexamples. Additionally, visual analysis shows that text features generated by our approach are highly interpretable. Our code for this paper can be found at https://github.com/declare-lab/DoubleMix.git.

研究の動機と目的

• テキスト分類におけるラベル付きデータの不足という課題に取り組み、過学習や浅いヒューリスティクスへの依存を回避する。
• 特に隠れ層レベルの手法におけるラベル混合の欠陥を克服し、真のクラス確率を歪めることのないデータ拡張手法を提案する。
• ソフトラベル混合を必要とせずに、隠れ空間における補間を通じてロバストでずれた特徴を学習することで、モデルの一般化性能を向上させる。
• リソースが限られた状況や困難な反例に対して一貫した性能向上を示すことを確認する。
• 視覚的分析を通じて学習された特徴多様体の解釈可能性を提供し、敵対的例に関する事例研究を実施する。

提案手法

• 各訓練サンプルに対して、単語の挿入・削除・置換などのシンプルなルールベースの拡張操作を適用し、複数の摂動版を生成する。
• 2段階の補間プロセスを実行する：まず摂動版を隠れ空間で合成サンプルに混合し、次に元の入力をこの合成サンプルと混合する。
• 摂動強度とノイズ注入のバランスを取るために、元の入力に対して合成摂動サンプルよりも高い混合重みを適用する。
• 元の入力と摂動入力の予測間の分布的乖離を最小化するため、Jensen-Shannon 散発正則化項を導入する。
• Transformerエンコーダ層の複数の層（例：{3,4}、{9,10,12}）で補間を適用し、階層的表現を学習する。特に中段から上段の層で最適な性能が得られた。
• t-SNE を用いて学習された特徴を可視化し、表現の幾何的構造を分析し、クラスタリングと分離性の向上を検証する。

実験結果

リサーチクエスチョン

• RQ1 隠れ空間における補間ベースのデータ拡張は、ソフトラベル混合に依存せずにモデルのロバスト性を向上させることができるか？
• RQ2 DoubleMix は、標準的なテキスト分類ベンチマークにおいて、最先端のトークンレベル・文レベル・隠れ層レベルのデータ拡張手法と比較してどのように性能を発揮するか？
• RQ3 リソースが限られた環境でも、DoubleMix は一貫して性能向上を示すか？
• RQ4 異なる補間層のセットは表現学習および最終的な性能にどのように影響を与えるか？
• RQ5 DoubleMix は、表面的なパターンを超えたモデル一般化能力をテストするための挑戦的な反事実例を効果的に処理できるか？

主な発見

• DoubleMix は6つのテキスト分類ベンチマークデータセットにおいて、複数の最先端のデータ拡張手法を上回り、精度と F1 スコアの両方で一貫した向上を示した。
• 10,000件の訓練サンプルを有する SNLI データセットでは、DoubleMix はテスト精度 71.23% および F1 スコア 71.05% を達成し、BERT ベースライン（精度 69.77%、F1 スコア 69.59%）を上回った。
• 層集合 {9,10,12} で補間を行った場合に最も高い性能が得られ、上位層の表現がロバストな特徴学習に最も効果的であることが示された。
• Kaushik 他（2020）の反事実例に対する予測が著しく改善され、特に entailment および neutral ラベルにおいて、BERT が頻繁に失敗する状況で顕著な向上が見られた。
• t-SNE の可視化結果から、DoubleMix が学習した特徴は BERT ベースラインに比べてクラス間でより明確に分離されていることが確認され、表現学習の向上が裏付けられた。
• アブレーションスタディの結果、摂動生成部と2段階補間部の両方が不可欠であることが確認され、正則化項が訓練の安定化と一般化性能の向上に寄与した。