[論文レビュー] Exemplar Guided Active Learning

Jason Hartford, Kevin Leyton‐Brown+4 more|arXiv (Cornell University)|Nov 2, 2020

Natural Language Processing Techniques参考文献 20被引用数 4

ひとこと要約

本稿では、事前学習された言語モデルからの文脈的埋め込みを用いて、極度に不均衡なデータセットにおけるレアな語義を効率的に同定するExemplar Guided Active Learning (EGAL) を提案する。また、頻度閾値未満の語義についてはラベリングを停止する統計的停止ルールを採用している。標準的なアクティブラーニングと比較して、ラベリングコストを最大50%まで削減でき、真のラベル頻度を知っているオラクルに対する対数的オーバーヘッドの理論的保証を有する。

ABSTRACT

We consider the problem of wisely using a limited budget to label a small subset of a large unlabeled dataset. We are motivated by the NLP problem of word sense disambiguation. For any word, we have a set of candidate labels from a knowledge base, but the label set is not necessarily representative of what occurs in the data: there may exist labels in the knowledge base that very rarely occur in the corpus because the sense is rare in modern English; and conversely there may exist true labels that do not exist in our knowledge base. Our aim is to obtain a classifier that performs as well as possible on examples of each "common class" that occurs with frequency above a given threshold in the unlabeled set while annotating as few examples as possible from "rare classes" whose labels occur with less than this frequency. The challenge is that we are not informed which labels are common and which are rare, and the true label distribution may exhibit extreme skew. We describe an active learning approach that (1) explicitly searches for rare classes by leveraging the contextual embedding spaces provided by modern language models, and (2) incorporates a stopping rule that ignores classes once we prove that they occur below our target threshold with high probability. We prove that our algorithm only costs logarithmically more than a hypothetical approach that knows all true label frequencies and show experimentally that incorporating automated search can significantly reduce the number of samples needed to reach target accuracy levels.

研究の動機と目的

• 極度なクラス不均衡が生じる語義分類データセットにおけるラベリングの課題に対処すること。特に、まれな語義が不足しており、標準的なアクティブラーニングでは効果を発揮しない状況を想定する。
• 真の頻度を事前に知らない状態で、事前学習された言語モデルの文脈的埋め込みを用いて、まれな語義を同定する手法を開発すること。
• 高い確率で、語義の真の頻度が目標頻度閾値γ未満であることを証明する停止ルールを設計すること。これにより、不要なラベリングを回避できる。
• 共通語義に対してはバランスの取れたラベリングを維持しながら、まれな語義や存在しない語義に対するアノテーション作業を最小限に抑えること。
• 新規に作成された、Redditベースの極度に不均衡な語義分類データセットを用いて、本手法を評価すること。

提案手法

• 事前学習された言語モデルの埋め込みを活用し、語の文脈内から各候補語義の例示（エクジンプレ）を特定することで、埋め込み空間における局所的探索を可能にする。
• 頻度閾値γを用いて「共通語義」と「まれな語義」を定義し、共通語義についてはバランスの取れたラベリングを要請する。
• 重要度重み付きサンプリングに基づく統計的停止ルールを採用し、語義の真の頻度がγ未満であることを高い信頼性で証明する。
• 共通語義が同定され、ラベリングが完了した段階で、ガイド付き探索から不確実性に基づくアクティブラーニングに切り替える。
• 埋め込みを用いて各語義の例を自動で探索することで、アノテーターによる手動探索を排除し、ガイド付きラーニングのプロセスを自動化する。
• 埋め込み近傍からの重要度重み付きサンプルを用いて、ラベル頻度ˆpyをオンラインで推定し、リアルタイムでの停止意思決定を可能にする。

実験結果

リサーチクエスチョン

• RQ1 真の頻度を事前に知らない状態で、大規模なラベルなしコーパス内からレアな語義を効率的に発見することは可能か？
• RQ2 極度に不均衡なデータセットにおいて、共通語義のバランスの取れたカバレッジを確保しながら、ラベリングコストをどのように低減できるか？
• RQ3 候補ラベル集合が不正確（ミススペシファイド）であっても、信頼性の高い停止ルールは、レア語義を最小限のラベリングで的確に同定・除外できるか？
• RQ4 埋め込み空間内でのエクジンプレベース探索は、人的な手動探索と比較して、どの程度のサンプル効率と正確性を示すか？
• RQ5 極度のクラス不均衡下において、標準的なアクティブラーニングと比較して、本手法はどの程度ラベリングコストを削減できるか？

主な発見

• EGALアルゴリズムは、極度に不均衡な語義分類タスクにおいて、標準的なアクティブラーニングと比較して、最大50%のラベリングコスト削減を達成した。
• 停止ルールは、高い信頼性でレア語義を同定・除外でき、レアクラス発見における誤検出（ファルス・ポジティブ）を回避することで、不要なラベリングを効果的に削減した。
• 本手法は、真のラベル頻度をすべて把握しているオラクルと比較して、対数的オーバーヘッドにとどまり、ほぼ最適な性能を達成した。
• 新規に作成されたRedditベースの語義分類データセットにおいて、EGALは、競合手法と比較して、より低いラベリング予算で共通語義の平均的カバレッジを高めた。
• 文脈的埋め込みの使用により、共通語義と比べて桁違いに頻度が低い語義に対しても、効果的な探索が可能となった。
• エクジンプレガイドド探索と不確実性に基づくアクティブラーニングを組み合わせたハイブリッドアプローチは、極度の不均衡状況下で、純粋なアクティブラーニングやガイド付きラーニングを上回る性能を示した。