[論文レビュー] MixText: Linguistically-Informed Interpolation of Hidden Space for Semi-Supervised Text Classification

Jiaao Chen, Zichao Yang+1 more|arXiv (Cornell University)|Apr 25, 2020

Topic Modeling参考文献 40被引用数 24

ひとこと要約

MixTextは、隠れ空間における言語的インサイトに基づいた補間技術であるTMixを用いて、ラベル付きデータ、ラベルなしデータ、および合成データを混合することで拡張されたトレーニングサンプルを生成する半教師ありテキスト分類手法を提案する。線形挙動の強制と一貫性正則化を活用することで、特にラベルが少ない状況下でも顕著な性能向上を達成し、複数のベンチマークで最先端の事前学習済みモデルや微調整済みモデルを上回っている。

ABSTRACT

This paper presents MixText, a semi-supervised learning method for text classification, which uses our newly designed data augmentation method called TMix. TMix creates a large amount of augmented training samples by interpolating text in hidden space. Moreover, we leverage recent advances in data augmentation to guess low-entropy labels for unlabeled data, hence making them as easy to use as labeled data.By mixing labeled, unlabeled and augmented data, MixText significantly outperformed current pre-trained and fined-tuned models and other state-of-the-art semi-supervised learning methods on several text classification benchmarks. The improvement is especially prominent when supervision is extremely limited. We have publicly released our code at https://github.com/GT-SALT/MixText.

研究の動機と目的

• テキスト分類タスクにおいてラベル付きデータが限られる状況下でのディープラーニングの過学習問題に対処する。
• ラベル付きデータとラベルなしデータを別々に扱い、相互に監視しない従来の半教師ありモデルの制限を克服する。
• 隠れ空間における補間を用いて、豊富なラベルなしデータを効果的に活用し、合成トレーニングサンプルを生成する。
• 表現空間におけるデータポイント間の線形挙動を強制することで、モデルの一般化性能を向上させる。
• データ拡張、自己学習、一貫性正則化を統合した包括的なフレームワークを構築し、リソースが限られた環境での性能を向上させる。

提案手法

• 神経ネットワークの指定された層で、2つのテキストサンプルの隠れ表現を混合係数λを用いて補間するデータ拡張手法であるTMixを導入する。
• ラベルなしデータに対して、事前学習済みのBERTベースモデルを用いて低エントロピーの疑似ラベルを生成し、信頼性のある自己学習を可能にする。
• バックトランスレーションによるラベルなしデータの拡張を実行し、複数のビュー間で予測の一貫性を強制することで、一貫性正則化を適用する。
• ラベル付きデータ、ラベルなしデータ、およびTMixで拡張されたサンプルを1つのトレーニング目的に統合し、隠れ空間における線形補間挙動を促進する。
• 構文的および意味的特徴を捉えるために、複数の層（例：{7,9,12}）でミックスアップを実行し、アンブレーションスタディにより最適な層の組み合わせを同定する。
• 元の入力と拡張済み入力の複数のビューからの予測を重み付き平均化することで、トレーニングの安定性を向上させ、耐性を高める。

実験結果

リサーチクエスチョン

• RQ1 テキストサンプルの隠れ表現を補間することで、半教師ありテキスト分類における一般化性能が向上するか？
• RQ2 ネットワークアーキテクチャにおける混合層の選択がモデル性能に与える影響はいかほどか？
• RQ3 TMixを自己学習および一貫性正則化と組み合わせることで、ラベルが少ない状況下で既存の半教師あり手法を上回る性能が得られるか？
• RQ4 ラベル付きサンプルが非常に少ない状況下でも、TMixは過学習を効果的に低減できるか？
• RQ5 各コンponent（例：ラベルなしデータ、TMix、疑似ラベル）がMixTextの最終的性能に果たす相対的寄与度はどの程度か？

主な発見

• MixTextは、AG NewsやYahoo! Answersを含む4つのベンチマークテキスト分類データセットで最先端の性能を達成した。特にラベルが少ない状況（例：1クラスあたり10件のラベル付き例）で顕著な向上を示した。
• AG Newsで1クラスあたり10件のラベル付き例を使用した場合、MixTextは67.6％のテスト精度を達成し、次に優れた手法よりも4.4ポイント高い結果を出した。
• アンブレーションスタディの結果、TMixコンponentを削除すると性能が最も著しく低下（67.6％から63.5％に）し、モデル性能向上におけるその重要性が確認された。
• 損失曲線から、MixTextとTMixは、特に1クラスあたり200件のラベル付き例での学習時において、BERTやUDAと比較してより安定したトレーニングダイナミクス（低いかつ平坦な開発損失）を示した。
• BERTベースモデルにおける最適なミックスアップ層の組み合わせ{7,9,12}は、AG Newsで最高の精度（74.1％）を達成した。これは、より高い層が意味的および構文的構造を捉えるのに最も有益であることを示している。
• ラベルなしデータを削除した場合、性能は著しく低下（58.6％に）したが、これはラベルなしデータが本手法の成功に不可欠であることを確認した。ただし、その効果はTMixと疑似ラベル付けによってさらに強化された。