[論文レビュー] A Survey of Active Learning for Text Classification using Deep Neural Networks

Christopher Schröder, Andreas Niekler|arXiv (Cornell University)|Aug 17, 2020

Machine Learning and Algorithms参考文献 104被引用数 60

ひとこと要約

この論文はテキスト分類のニューラルネットワークベースのアクティブラーニングを調査し、問い合わせ戦略の分類法を提示し、NLPの最近のNNの進展を概観し、今後の研究のギャップと未解決の課題を特定します。

ABSTRACT

Natural language processing (NLP) and neural networks (NNs) have both undergone significant changes in recent years. For active learning (AL) purposes, NNs are, however, less commonly used -- despite their current popularity. By using the superior text classification performance of NNs for AL, we can either increase a model's performance using the same amount of data or reduce the data and therefore the required annotation efforts while keeping the same performance. We review AL for text classification using deep neural networks (DNNs) and elaborate on two main causes which used to hinder the adoption: (a) the inability of NNs to provide reliable uncertainty estimates, on which the most commonly used query strategies rely, and (b) the challenge of training DNNs on small data. To investigate the former, we construct a taxonomy of query strategies, which distinguishes between data-based, model-based, and prediction-based instance selection, and investigate the prevalence of these classes in recent research. Moreover, we review recent NN-based advances in NLP like word embeddings or language models in the context of (D)NNs, survey the current state-of-the-art at the intersection of AL, text classification, and DNNs and relate recent advances in NLP to AL. Finally, we analyze recent work in AL for text classification, connect the respective query strategies to the taxonomy, and outline commonalities and shortcomings. As a result, we highlight gaps in current research and present open research questions.

研究の動機と目的

• テキスト分類に適用可能なアクティブラーニング問い合わせ戦略の分類法を提供する。
• 深層ニューラルネットワークと現代のNLP表現がアクティブラーニングに与える影響を調査する。
• テキスト分類のNNベースのアクティブラーニングで使用される最近の実験とデータセットを分析する。
• 将来の研究の指針となるギャップ、制限、および未解決の研究課題を特定する。

提案手法

• 入力情報（データ、モデル、予測、ランダムベースライン）に基づく問い合わせ戦略の分類法を開発する。
• ニューラルネットワークの不確実性、少データの課題、および転移学習をアクティブラーニングの設計に関連づける。
• 最近のNNベースのテキスト分類の進展（埋め込み、LM、トランスフォーマー）を調査し、それらをアクティブラーニングに適用可能な形にマッピングする。
• データセット、モデル、問い合わせ戦略を含む研究間の実験設定を調査・統合する。
• テキスト分類のNNベースALにおける共通点、制限、および未解決の研究課題を強調する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークを用いた場合を中心に、テキスト分類のALの主な問い合わせ戦略のカテゴリは何か？
• RQ2 最近のNLPの進展（埋め込み、言語モデル、転移学習）は、アクティブラーニングの有効性と実践にどのように影響するか？
• RQ3 テキスト分類のNNベースALの共通の実験パターンとギャップは何で、どのような未解決の質問が残っているか？

主な発見

• 不確実性ベースおよび意見の相違ベースの予測戦略がテキスト分類のNNベースALを支配しているが、最新のNNアーキテクチャとの相性は様々である。
• NNの不確実性推定は依然として難しく、特に小規模ラベル付きデータセットでAL性能を制限することがある。
• 転移学習と文脈化言語モデルはデータニーズを低減し、小データ領域でより効果的なALを可能にする。
• 最近の実験はデータセット間でばらつきがあり、標準化されたベンチマークとより広い評価の必要性を示している。
• NLP表現の進歩はALを高める可能性があるが、実用的な採用には不確実性とデータセット特性の注意深い取り扱いが必要。