[論文レビュー] Low-Shot Classification: A Comparison of Classical and Deep Transfer Machine Learning Approaches

P.N.R. Usherwood, Steven Smit|arXiv (Cornell University)|Jul 17, 2019

Topic Modeling参考文献 20被引用数 4

ひとこと要約

本稿は、1クラスあたり100～1000ラベル付き例を用いた低ショットテキスト分類において、深層転移学習（例：BERT）と古典的機械学習（例：SVM、ロジスティック回帰）を比較している。100例の条件下で、BERTは平均9.7%の精度優位性を示し、交差ドメインへの頑健性も顕著に優れているが、リソース制約の環境では古典的モデルも依然として有効である。

ABSTRACT

Despite the recent success of deep transfer learning approaches in NLP, there is a lack of quantitative studies demonstrating the gains these models offer in low-shot text classification tasks over existing paradigms. Deep transfer learning approaches such as BERT and ULMFiT demonstrate that they can beat state-of-the-art results on larger datasets, however when one has only 100-1000 labelled examples per class, the choice of approach is less clear, with classical machine learning and deep transfer learning representing valid options. This paper compares the current best transfer learning approach with top classical machine learning approaches on a trinary sentiment classification task to assess the best paradigm. We find that BERT, representing the best of deep transfer learning, is the best performing approach, outperforming top classical machine learning algorithms by 9.7% on average when trained with 100 examples per class, narrowing to 1.8% at 1000 labels per class. We also show the robustness of deep transfer learning in moving across domains, where the maximum loss in accuracy is only 0.7% in similar domain tasks and 3.2% cross domain, compared to classical machine learning which loses up to 20.6%.

研究の動機と目的

• 限られたラベル付きデータ（1クラスあたり100～1000例）を用いた低ショットテキスト分類設定において、深層転移学習が古典的機械学習に比べて測定可能な利点をもたらすかどうかを評価すること。
• 両者のパラダイムが、ドメイン内およびドメイン間の転移学習のシナリオにおいて、どのように性能を示すかを評価すること。
• 実世界のNLPアプリケーションで小規模データセットを扱う際の、古典的モデルと深層転移学習の間で意思決定を下すための実証的指針を提供すること。
• 低ショット設定におけるモデル性能、計算コスト、導入可能性の間のトレードオフを調査すること。

提案手法

• 100～1000ラベル付き例を用いた小規模なラベル付きデータセット上で微調整を実行し、最先端の深層転移学習モデル（BERTおよびULMFiT）を三値感情分類タスクに訓練した。
• 標準的なNLP前処理および特徴工学を用いて、SVM、ロジスティック回帰、fastTextなどのトップクラスの古典的機械学習モデルと比較した。
• 一般化のため、複数の公開データセットを用いて性能を評価し、特定のドメインやデータ分布に偏らないようにした。
• 比較の前提となる最適な設定を得るため、各モデルクラスに対してハイパーパrameterチューニングを実施した。
• ドメイン内およびドメイン外のテストセットにおける正解率を測定し、モデルの転送性を評価した。
• BERTの多言語版およびドメイン適応版を用いて、語彙的およびドメインシフトに対する頑健性を評価した。

実験結果

リサーチクエスチョン

• RQ1 100～1000ラベル付き例を1クラスあたり用いた低ショットテキスト分類タスクにおいて、BERTのような深層転移学習モデルは古典的機械学習モデルに比べてどれほど高い精度を示すか？
• RQ2 テキストの特徴（例：長さ、語彙、スラング）が異なるドメイン間でモデルを転送する際、各パラダイムの性能はどのように変化するか？
• RQ3 アウトオブドメインのデータに対してテストされた場合、古典的モデルと深層転移学習モデルの相対的な頑健性はどの程度か？
• RQ4 低ショット設定において、モデル性能、推論コスト、人的リソース（例：ハイパーパrameterチューニング、特徴工学）の間の実用的トレードオフは何か？

主な発見

• 1クラスあたり100ラベル付き例での学習において、BERTはトップクラスの古典的機械学習モデルを平均9.7%上回った。
• 1000ラベル付き例にデータ量を増やすと、性能差は1.8%に縮小し、スケールに伴う転移学習の収益逓減効果が顕著になった。
• 深層転移学習モデルは交差ドメインへの頑健性が高く、ドメイン間で最大3.2%の正解率低下にとどまったが、古典的モデルでは最大20.6%の低下を示した。
• 古典的モデルはドメインシフトに対してより感受性が高く、特にスラングや非公式な言語を含むドメインでは、未知語の処理に弱かった。
• BERTのWordPieceトークン化は、古典的モデルの標準的なサブワードまたは語彙レベルのトークン化よりも、レア語や未知語の処理が優れていた。
• ハードウェア要件（例：BERT-baseでは12GB VRAM）が高かったものの、特徴工学やハイパーパrameterチューニングに要する人的リソースを削減でき、長期的には運用コストの削減に寄与した。