[論文レビュー] Multiple-criteria Based Active Learning with Fixed-size Determinantal Point Processes

Xueying Zhan, Qing Li+1 more|arXiv (Cornell University)|Jul 4, 2021

Machine Learning and Algorithms参考文献 41被引用数 5

ひとこと要約

本稿では、固定サイズのデターミナント・ポイント・プロセス（k-DPP）を用いて、情報性、代表性、多様性を統合する複数基準のアクティブラーニング手法を提案する。分類器の委員会によるサンプルの難易度評価、代表性のためのk-センタークラスタリング、DPPに基づくバッチ選択を活用することで、多様なデータタイプや不均衡な状況において優れた安定性を示し、既存の複数基準手法を上回る性能を達成する。

ABSTRACT

Active learning aims to achieve greater accuracy with less training data by selecting the most useful data samples from which it learns. Single-criterion based methods (i.e., informativeness and representativeness based methods) are simple and efficient; however, they lack adaptability to different real-world scenarios. In this paper, we introduce a multiple-criteria based active learning algorithm, which incorporates three complementary criteria, i.e., informativeness, representativeness and diversity, to make appropriate selections in the active learning rounds under different data types. We consider the selection process as a Determinantal Point Process, which good balance among these criteria. We refine the query selection strategy by both selecting the hardest unlabeled data sample and biasing towards the classifiers that are more suitable for the current data distribution. In addition, we also consider the dependencies and relationships between these data points in data selection by means of centroidbased clustering approaches. Through evaluations on synthetic and real-world datasets, we show that our method performs significantly better and is more stable than other multiple-criteria based AL algorithms.

研究の動機と目的

• 変動するデータ分布や現実世界の状況に適応できない単一基準のアクティブラーニング手法の限界を解消する。
• 情報性、代表性、多様性という3つの補完的基準を同時に最適化することで、アクティブラーニングの性能を向上させる。
• 分類器の重み付けとハードサンプルの優先順位付けを通じて、データ分布の変化に動的に適応する堅牢なクエリ選択戦略を開発する。
• k-センタークラスタリングと固定サイズのDPPを用いて、不均衡データ設定下でもバランスの取れた多様なバッチ選択を実現する。
• 変動するラベル付け予算下での合成データおよび実世界データセットにおいて、提案手法の一貫した優位性と安定性を実証する。

提案手法

• 分類器の重み付き委員会を用いて情報性を定式化し、分類器の重みを現在のデータ分布との整合性に応じて動的に調整する。
• 委員会内の不一致をサンプル難易度として定義し、一致度が低い（不確実性が高い）サンプルに高い情報性スコアを割り当てる。
• k-センタークラスタリングを用いて、既に選択済みの点からの最小距離を最大化し、未ラベルプール全体をカバーする代表的データポイントを特定する。
• 情報性、代表性、多様性の3基準を統合した固定サイズのデターミナント・ポイント・プロセス（k-DPP）を用い、高品質で多様かつ代表的なバッチの同時選択確率をモデル化する。
• 選択プロセスをDPPとしてモデル化し、カーネル行列が情報性スコアと特徴ベクトルの直交性および大きさによる幾何的多様性を符号化する。
• 増加するラベル付け予算における全体の性能を評価するために、AUBC（予算曲線下の面積）指標を適用する。

実験結果

リサーチクエスチョン

• RQ1 情報性、代表性、多様性という複数基準を、モデル性能と安定性の向上に寄与する形で、どのように効果的にバランスさせるか。
• RQ2 分類器の委員会は、データ分布のシフトにどのように動的に適応し、情報性推定を改善できるか。
• RQ3 k-センタークラスタリングは、非一様またはクラスタ構造を持つデータ分布において、代表性の向上に寄与するか。
• RQ4 提案されたk-DPPベースの選択戦略は、バッチモードにおいて高品質で情報的なサンプルを確保しつつ、多様性をどのように維持するか。
• RQ5 本手法はデータ不均衡下でどのように動作するか。また、選択プロセスにおいてクラス分布の偏りを自動で是正できるか。

主な発見

• 提案手法は、合成データおよび実世界データセットにおいて、ベースラインの複数基準アクティブラーニング手法よりも顕著に優れた安定性を示す。
• GCloud Unbalanceデータセットでは、他の手法が示す大幅に高い比と対照的に、本手法は正例対負例（PN）比を約1.5:1に維持し、クラス不均衡の効果的な処理を示している。
• モデルは分類器の重みを動的に調整し、線形分離可能なデータでは線形モデル（例：LR, SVM-Linear）に高い専門性を割り当て、複雑なデータでは非線形モデルに割り当てることで適応性を向上させている。
• ALプロセス全体を通じて代表性スコアが常に0.5以上を維持しており、本手法が代表的サンプルを優先していることが示され、多様性と情報性のバランスも良好である。
• k-DPPの定式化により、品質と多様性を同時に最大化する効率的なバッチ選択が可能となり、スコアの高いサンプルはより直交する特徴ベクトルと大きな大きさを持つ。
• AUBC評価では、増加するラベル付け予算下で、学習効率および最終モデルの精度の両面で、ベースラインを一貫して上回っていることが示された。