[論文レビュー] Minimizing Manual Annotation Cost In Supervised Training From Corpora

Sean P. Engelson, Ido Dagan|ArXiv.org|Jun 24, 1996

Machine Learning and Algorithms参考文献 14被引用数 10

ひとこと要約

本稿では、教師あり自然言語処理の学習における手動アノテーションコストを最小限に抑えるために、注釈が必要な例として最も情報量の多い未ラベル付き例のみを選択する委員会ベースのサンプル選択を提案する。確率的品詞タグ付きの実験では、アノテーションコストとモデルサイズの顕著な削減が得られ、パラメータを調整する必要のない単純な方法でも優れた性能を達成した。

ABSTRACT

Corpus-based methods for natural language processing often use supervised training, requiring expensive manual annotation of training corpora. This paper investigates methods for reducing annotation cost by {\it sample selection}. In this approach, during training the learning program examines many unlabeled examples and selects for labeling (annotation) only those that are most informative at each stage. This avoids redundantly annotating examples that contribute little new information. This paper extends our previous work on {\it committee-based sample selection} for probabilistic classifiers. We describe a family of methods for committee-based sample selection, and report experimental results for the task of stochastic part-of-speech tagging. We find that all variants achieve a significant reduction in annotation cost, though their computational efficiency differs. In particular, the simplest method, which has no parameters to tune, gives excellent results. We also show that sample selection yields a significant reduction in the size of the model used by the tagger.

研究の動機と目的

• 教師ありNLP学習における手動アノテーションの高コストを低減すること。
• 未ラベル付きコーパスから最も情報量の多い例のみを選択することで、重複するラベル付けを最小限に抑えること。
• 委員会ベースのサンプル選択がアノテーション作業の負担をどれほど軽減できるかを評価すること。
• サンプル選択がモデルサイズおよび学習効率に与える影響を評価すること。
• 実用的導入に適した低コストで高パフォーマンスを発揮するサンプリング戦略を同定すること。

提案手法

• 複数のモデルが不確実な例について投票することで、情報量の多いインスタンスを特定する委員会ベースのサンプル選択を用いる。
• 委員会メンバー間で高い不一致を示す例をアノテーション対象として選択する。これは、モデルの汎化性能を向上させる可能性が高いためである。
• 初期の小さなラベル付きデータセットで訓練された確率的分類器を用い、反復的に委員会の不確実性に基づいて新しい例を選択・ラベル付けする。
• ハイパーパramータを調整する必要のない、単純でパラメータフリーなバリエーションも含む、サンプル選択手法のファミリーを適用する。
• 新たにラベル付けされた例を訓練データセットに統合し、各イテレーションでモデルを再訓練する。
• 異なるサンプリング戦略におけるアノテーション要件とモデルパフォーランスの比較を通じて、コスト削減を測定する。

実験結果

リサーチクエスチョン

• RQ1 教師ありNLP学習において、委員会ベースのサンプル選択は、手動アノテーションが必要な例の数を顕著に削減できるか？
• RQ2 アノテーションコストとモデル精度の観点から、異なるサンプル選択戦略のパフォーマンスはどのように比較できるか？
• RQ3 サンプル選択により、タグ付き精度を損なわずに、より小さく効率の良いモデルが得られるか？
• RQ4 単純でパラメータフリーなサンプル選択手法が、より複雑でチューニングされた代替手法を上回る性能を発揮できるか？
• RQ5 どの程度、サンプル選択によりラベル付き訓練データの冗長性が低減されるか？

主な発見

• 委員会ベースのサンプル選択のすべてのバリエーションが、ランダムサンプリングと比較して顕著なアノテーションコストの削減を達成した。
• 調整パラメータのない最も単純な手法が優れた結果を示し、非常に効果的であった。
• 品詞タガーが使用する最終的なモデルサイズに顕著な削減が見られた。
• サンプル選択により、最も新しい情報をもたらす例に焦点を当てることで、重複するラベル付けが最小限に抑えられた。
• ラベル付き例の数を大幅に削減したにもかかわらず、高いタグ付き精度を維持した。
• 計算効率は手法によって異なったが、パラメータフリーなバリエーションは最小限のオーバーヘッドで優れたパフォーマンスを発揮した。