[論文レビュー] Active Learning with Partial Feedback

Peiyun Hu, Zachary C. Lipton+2 more|arXiv (Cornell University)|Feb 21, 2018

Machine Learning and Algorithms参考文献 32被引用数 31

ひとこと要約

本稿では、部分的フィードバックを用いたアクティブラーニング（ALPF）というフレームワークを提案する。このフレームワークは、ラベル付けすべき例と、『これは犬ですか？』といった2値の質問（例：「これは犬ですか？」）を同時に選択することで、階層的マルチクラス設定におけるコスト効率の高いラベリングを可能にする。標準的なアクティブラーニングと比較して、Tiny ImageNetではトップ1精度を相対的に26%向上させるとともに、ラベリングコストを42%削減した。これは、従来の「難しい例」に注目するアプローチに挑戦するものである。

ABSTRACT

While many active learning papers assume that the learner can simply ask for a label and receive it, real annotation often presents a mismatch between the form of a label (say, one among many classes), and the form of an annotation (typically yes/no binary feedback). To annotate examples corpora for multiclass classification, we might need to ask multiple yes/no questions, exploiting a label hierarchy if one is available. To address this more realistic setting, we propose active learning with partial feedback (ALPF), where the learner must actively choose both which example to label and which binary question to ask. At each step, the learner selects an example, asking if it belongs to a chosen (possibly composite) class. Each answer eliminates some classes, leaving the learner with a partial label. The learner may then either ask more questions about the same example (until an exact label is uncovered) or move on immediately, leaving the first example partially labeled. Active learning with partial labels requires (i) a sampling strategy to choose (example, class) pairs, and (ii) learning from partial labels between rounds. Experiments on Tiny ImageNet demonstrate that our most effective method improves 26% (relative) in top-1 classification accuracy compared to i.i.d. baselines and standard active learners given 30% of the annotation budget that would be required (naively) to annotate the dataset. Moreover, ALPF-learners fully annotate TinyImageNet at 42% lower cost. Surprisingly, we observe that accounting for per-example annotation costs can alter the conventional wisdom that active learners should solicit labels for hard examples.

研究の動機と目的

• アクティブラーニングにおける原子的ラベリングの仮定と、現実のラベリングがしばしば順次的Yes/No質問を伴うというギャップを是正すること。
• ラベリングコストを動的かつ例ごとに異なるものとしてモデル化し、各例に対して必要な2値の質問数を反映すること。
• 部分的にラベルが与えられたデータから効果的に学習できる学習フレームワークを開発すること。ここでラベルはフィードバックを通じて段階的に明らかにされる。
• 従来のアクティブラーニングの常識とは反して、初期段階で「より簡単な」例を選択することで、全体のラベリングコストを削減できるかどうかを調査すること。
• 情報量の増加とラベルの除外／保持のバランスを取る acquisition 関数を設計し、部分ラベリングを効率的に行えるようにすること。

提案手法

• ALPFは、事前に定義された階層的ラベル構造（例：WordNet）を用いて複合クラスを定義し、複数の粒度レベルで2値の質問を可能にする。
• 各ラウンドで、学習者は（例、クラス）ペアを選択し、アノテーターはYes/Noの回答を返す。これにより一部のクラスが除外され、部分的なラベルが得られる。
• モデルは部分ラベルから学習する際、残存クラスと除外クラスの間の2値分類問題として扱い、信頼度にsoftmax確率の合計を用いる。
• 3つの acquisition 関数を提案：期待情報量（EIG）、期待信頼度低下（EDC）、期待残存信頼度（ERC）。これらは質問選択を導く。
• 各例に対して早期終了をサポートする。コスト効率がより高い場合、未完了のラベリングを放棄することで、動的なコスト制御が可能になる。
• 確率的推論機構により、残存クラスに割り当てられた確率質量の合計を計算し、部分ラベルでも不確実性推定が可能になる。

実験結果

リサーチクエスチョン

• RQ1 原子的ラベルではなく、順次的2値質問を通じた部分的フィードバックを許容することで、アクティブラーニングのコスト効率を向上させられるか？
• RQ2 例ごとのラベリングコストの変動を考慮に入れることで、アクティブラーニングにおける最適戦略、特に例の選択に関して、変化するか？
• RQ3 ラベルの除外（EDC）や残存信頼度（ERC）を優先する acquisition 関数が、従来の不確実性ベースの手法よりも、部分フィードバック環境で優れているか？
• RQ4 ALPFにおいて、不確実性が低い「より簡単な」例を最初にラベリングすることが、コスト効率を高めるか？
• RQ5 部分的にラベルが与えられたデータから学習したモデルは、ラベルが段階的に明らかにされる状況でも、どれほど一般化できるか？

主な発見

• Tiny ImageNetでは、ALPFにERC acquisition 関数を適用した場合、i.i.d. ベースラインと比較してトップ1精度が相対的に26%向上し、絶対的に8.1%向上したが、ラベリング予算の30%しか使用しなかった。
• ALPFは、標準的なアクティブラーニング手法と比較して、Tiny ImageNetの完全ラベリングに42%少ない2値質問で到達した。
• ERC acquisition 関数は、精度とコスト効率の両面でEIGおよびEDCを上回り、特にクラス階層の扱いやラベル分布のシフトに対して優れた性能を示した。
• 診断的分析の結果、EIGは最初に難しい例を選択するが、ERCおよびEDCはより簡単なクラスを優先するため、ラベルの完了が速く、コストが低くなることがわかった。
• 従来のアクティブラーニングの仮定（難しい例を最初にラベリングすべき）に挑戦する結果が得られ、コストに配慮した戦略が、予算制約下でもより優れた性能を発揮することが示された。
• 本フレームワークは、動的に変化する部分ラベルから効果的に学習でき、入力データに対する敵対的摂動に対しても頑健であることが示された。