[論文レビュー] Neural Semi-supervised Learning for Text Classification Under Large-Scale Pretraining

Zijun Sun, Chun Chieh Fan+4 more|arXiv (Cornell University)|Nov 17, 2020

Topic Modeling参考文献 81被引用数 10

ひとこと要約

本論文は、大規模言語モデルの事前学習を適用した文書分類における半教師付き学習を調査し、未ラベルデータ $U$ に対してドメイン内事前学習を行うことで、オープンドメイン事前学習よりも効果的であると提案している。ドメイン内事前学習と偽ラベル付けを組み合わせることで性能が著しく向上し、IMDBでは50件のラベル付き例でのみ93.8%の正確度を達成し、全データでは96.6%に達する。これは低リソース文書分類の実用的フレームワークを提供する。

ABSTRACT

The goal of semi-supervised learning is to utilize the unlabeled, in-domain dataset U to improve models trained on the labeled dataset D. Under the context of large-scale language-model (LM) pretraining, how we can make the best use of U is poorly understood: is semi-supervised learning still beneficial with the presence of large-scale pretraining? should U be used for in-domain LM pretraining or pseudo-label generation? how should the pseudo-label based semi-supervised model be actually implemented? how different semi-supervised strategies affect performances regarding D of different sizes, U of different sizes, etc. In this paper, we conduct comprehensive studies on semi-supervised learning in the task of text classification under the context of large-scale LM pretraining. Our studies shed important lights on the behavior of semi-supervised learning methods: (1) with the presence of in-domain pretraining LM on U, open-domain LM pretraining is unnecessary; (2) both the in-domain pretraining strategy and the pseudo-label based strategy introduce significant performance boosts, with the former performing better with larger U, the latter performing better with smaller U, and the combination leading to the largest performance boost; (3) self-training (pretraining first on pseudo labels D' and then fine-tuning on D) yields better performances when D is small, while joint training on the combination of pseudo labels D' and the original dataset D yields better performances when D is large. Using semi-supervised learning strategies, we are able to achieve a performance of around 93.8% accuracy with only 50 training data points on the IMDB dataset, and a competitive performance of 96.6% with the full IMDB dataset. Our work marks an initial step in understanding the behavior of semi-supervised learning models under the context of large-scale pretraining.

研究の動機と目的

• 大規模事前学習が既に適用されている状況でも、半教師付き学習が依然として有益であるかどうかを理解すること。
• 未ラベルのドメイン内データ $U$ を活用する際、ドメイン内事前学習と偽ラベル生成の有効性を比較すること。
• データセットのサイズに応じた最適な実装戦略（例：自己学習対共同学習）を特定すること。
• ラベル付きデータ ($D$) と未ラベルデータ ($U$) のサイズが異なる条件下で、さまざまな半教師付き戦略が性能に与える影響を調査すること。

提案手法

• ドメイン内未ラベルデータセット $U$ に対して言語モデルを事前学習することで、ドメイン適合性を向上させ、オープンドメイン事前学習を置き換えたり補完したりする。
• ラベル付きデータセット $D$ で訓練されたテイカー・モデルを用いて $U$ の偽ラベルを生成し、拡張された訓練セット $D'$ を形成する。
• 2つの訓練戦略を実装する：(1) 自己学習（$D'$ で事前学習し、その後 $D$ で微調整）、(2) 共同学習（$D \cup D'$ を同時に学習）。
• 反復的偽ラベル付けを実施し、1回目の反復で得られた学生モデルが次の反復の教師モデルとなることで、ラベルの信頼度が時間経過とともに向上する。
• ドメイン内事前学習と偽ラベル付けを組み合わせ、教師モデルを $U$ で事前学習されたモデルで初期化する。
• IMDB をベンチマークとして、$D$ のサイズ（50 から 25k まで）と $U$ のサイズ（最大340万件のレビューまで）を変化させた上で性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 大規模オープンドメイン事前学習が既に実施されている状況でも、半教師付き学習は依然として有益か？
• RQ2 未ラベルのドメイン内データ $U$ は、ドメイン内事前学習に使用すべきか、それとも偽ラベル生成に使用すべきか？
• RQ3 異なる訓練戦略（例：自己学習対共同学習）は、ラベル付きデータセット $D$ のサイズに応じて性能にどのように影響するか？
• RQ4 $D'$（偽ラベル付きデータセット）と $U$ のサイズは、モデルの性能にどのように影響するか？
• RQ5 反復的偽ラベル付けは性能にどのような影響を与えるか、特に $D$ が小さい場合に注目する。

主な発見

• ドメイン内未ラベルデータ $U$ におけるドメイン内事前学習は、オープンドメイン事前学習よりも効果的であり、$U$ が利用可能であれば後者の必要性はなくなる。
• ドメイン内事前学習は $U$ が大きいほど性能が向上するが、偽ラベル付けは $U$ が小さい場合に優位であり、両者の組み合わせが最も優れた結果をもたらす。
• ラベル付きデータ $D$ が小さい場合（例：50〜100件）、自己学習（$D'$ で事前学習してから $D$ で微調整）が共同学習を上回る性能を示す。一方、$D$ が大きい場合には共同学習がより優れた性能を達成する。
• ラベル付きデータ $|D| = 50$ の場合、半教師付き学習により93.8%の正確度に到達し、低リソース環境における強力な一般化性能を示している。
• 全IMDBデータセット（$|D| = 25k$）を用いた場合、組み合わせ戦略により96.6%の正確度を達成し、強力な競争力を持つ性能を示している。
• 反復的偽ラベル付けは追加の性能向上をもたらし、特に $D$ が小さい場合に顕著である。性能は複数の反復を経て安定化する。