[論文レビュー] Meta-Query-Net: Resolving Purity-Informativeness Dilemma in Open-set Active Learning

Dongmin Park, Yooju Shin+4 more|arXiv (Cornell University)|Oct 13, 2022

Machine Learning and Algorithms被引用数 6

ひとこと要約

本稿では、複数ラウンドのクエリデータを活用してランク付けベースのメタ目的関数を学習することで、純度と情報量のバランスを能動的に制御するメタモデル、Meta-Query-Net (MQ-Net) を提案する。MQ-Net は、オープンセットノイズを伴う ImageNet において、最先端手法よりも20.14%の精度向上を達成した。

ABSTRACT

Unlabeled data examples awaiting annotations contain open-set noise inevitably. A few active learning studies have attempted to deal with this open-set noise for sample selection by filtering out the noisy examples. However, because focusing on the purity of examples in a query set leads to overlooking the informativeness of the examples, the best balancing of purity and informativeness remains an important question. In this paper, to solve this purity-informativeness dilemma in open-set active learning, we propose a novel Meta-Query-Net,(MQ-Net) that adaptively finds the best balancing between the two factors. Specifically, by leveraging the multi-round property of active learning, we train MQ-Net using a query set without an additional validation set. Furthermore, a clear dominance relationship between unlabeled examples is effectively captured by MQ-Net through a novel skyline regularization. Extensive experiments on multiple open-set active learning scenarios demonstrate that the proposed MQ-Net achieves 20.14% improvement in terms of accuracy, compared with the state-of-the-art methods.

研究の動機と目的

• 不純度（OOD）ノイズを含むラベルなしデータにおいて、情報量が多くて純度の高いサンプルを選択する課題に対処すること。
• 純度を優先すると情報量の高いサンプルを逃すリスクがあり、情報量を優先するとOOD例を含むリスクがあるという、純度と情報量のジレンマを克服すること。
• 外部の検証セットを必要とせず、学習段階やノイズ比に応じて純度と情報量を動的にバランスさせるメタモデルを開発すること。
• Webクロールされた画像など、データキュレーションの過程で必然的にOOD例が混入するような現実世界のシナリオでも、効果的なサンプル選択を可能にすること。
• 能動学習の固有の複数ラウンド構造を活用してメタラーナーを学習することで、現実的なオープンセット条件における能動学習のパフォーマンスを向上させること。

提案手法

• 能動学習の各ラウンドにおけるクエリセットを用いて MQ-Net を訓練することで、別個の検証セットを必要とせず、能動学習の複数ラウンド構造を活用する。
• 純度を分布内確率（LLスコア）として定義し、情報量を不確実性を考慮した表現多様性（CSIスコア）として定義し、それらをメタ目的関数で統合する。
• スカイライン正則化を導入し、例Aが純度と情報量の両面で例Bよりも明確に優れている場合、MQ-Net はAをBより高くランク付けするように制約を課す。
• スカイライン制約を含むランク損失を最適化することで、メタスコアが妥当で推移的な例の質の順序付けを反映することを保証する。
• メタ目的関数を用いて、純度と情報量の動的バランスを学習し、後期のラウンドでは情報量をより強く重視する。
• エンドツーエンドでメタモデルを訓練し、OOD例が存在する中でも分布内例に高い優先順位を付ける一方で、情報量の高い例も依然として優遇する。

実験結果

リサーチクエスチョン

• RQ1 分布内と分布外の両方の例が高不確実性と高多様性を示す状況下で、オープンセット能動学習における純度と情報量のジレンマを効果的に解消する方法は何か？
• RQ2 別個の検証セットを必要とせず、能動学習の異なる段階において純度と情報量を動的にバランスさせるメタモデルは学習可能か？
• RQ3 スカイラインベースの正則化は、サンプル選択におけるメタスコア順序付けの信頼性と一貫性を向上させるか？
• RQ4 MQ-Net の純度と情報量のヒューリスティックなバランスルール（加算や乗算）との性能比較は？
• RQ5 実世界の展開環境において、分布外例のラベル付けコストが変動する状況でも、MQ-Net はどれほど頑健か？

主な発見

• MQ-Net は、オープンセットノイズ条件下で ImageNet データセットにおいて、最先端手法よりも20.14%の精度向上を達成した。
• 40%のオープンセットノイズを伴う CIFAR-10 において、10ラウンドの能動学習後、MQ-Net は91.48%のテスト精度を達成し、CCAL や SIMILAR を含むすべてのベースラインを上回った。
• MQ-Net は、純度と情報量のヒューリスティックなバランスルール（加算・乗算）を常に上回り、とりわけ第2ラウンド以降においてその有効性を示した。
• OODラベルコストが0.5から4に変動する状況でも、MQ-Net は優れた性能を維持し、最低コスト時（0.5）でも92.52%のテスト精度を達成した。
• スカイライン正則化により、MQ-Net は妥当で推移的な例の順序付けを学習し、明確に優れたサンプルが一貫して優先順位が高くなるようにした。
• MQ-Net は初期ラウンドでは純度を重視するが、後期ラウンドでは情報量を重視するようにシフトし、学習段階とノイズ比に応じた動的バランスを実現した。これは、動的バランス能力の有効性を裏付けた。