[論文レビュー] Class Proportion Estimation with Application to Multiclass Anomaly Rejection

Tyler Sanderson, Clayton Scott|arXiv (Cornell University)|Jun 21, 2013

Anomaly Detection Techniques and Applications参考文献 14被引用数 34

ひとこと要約

本稿では、訓練データに1つのクラスのラベル付きデータを必要としない、新たなクラス割合推定（CPE）手法を提案する。これにより、一貫性のあるマルチクラス異常値拒否（MCAR）が可能となる。CPEを混合割合推定に還元し、マルチクラスVC理論に基づく一様な誤差解析を導入することで、CPEおよびMCARの両方において一貫性のある学習が達成される。これは、分布シフト下でのドメイン適応問題に対して、実証的検証を伴う、これまでに知られている唯一の一貫性のある手法である。

ABSTRACT

This work addresses two classification problems that fall under the heading of domain adaptation, wherein the distributions of training and testing examples differ. The first problem studied is that of class proportion estimation, which is the problem of estimating the class proportions in an unlabeled testing data set given labeled examples of each class. Compared to previous work on this problem, our approach has the novel feature that it does not require labeled training data from one of the classes. This property allows us to address the second domain adaptation problem, namely, multiclass anomaly rejection. Here, the goal is to design a classifier that has the option of assigning a "reject" label, indicating that the instance did not arise from a class present in the training data. We establish consistent learning strategies for both of these domain adaptation problems, which to our knowledge are the first of their kind. We also implement the class proportion estimation technique and demonstrate its performance on several benchmark data sets.

研究の動機と目的

• 訓練データとテストデータの分布が異なるドメイン適応におけるクラス割合推定（CPE）を扱う。特に、訓練データに1つのクラスが存在しない場合を想定する。
• 異常値クラスの訓練データが存在しない状況下でも、一貫性のある学習戦略を用いたマルチクラス異常値拒否（MCAR）の開発。
• MCARに対する、これまでに知られている唯一の一貫性のある識別ルールと、すべてのクラスのラベル付きデータを必要としない一貫性のあるCPE手法の確立。
• ベンチマークデータセット上でのCPE技術の実装と実証的検証。分布シフト下でも頑健な性能を示すことを確認。
• 提案された学習戦略の理論的基盤を、マルチクラスVC理論と一様誤差解析を用いて構築。

提案手法

• CPE問題を混合割合推定に還元し、テストデータの混合密度がクラス条件付き密度の重み付き組み合わせと一致するように、クラス割合を推定する。
• ROC回帰を用いたカーネルロジスティック回帰を採用し、クラス割合を推定。ベイジアンブートストラップを導入することでノイズを低減し、フィットを向上。
• MCARにおける経験的リスク最小化のための新規誤差推定戦略を適用。これにより、異常クラスに訓練例が存在しない場合でも一貫性のある学習が可能になる。
• マルチクラスVC理論に基づく一様誤差解析を用い、学習ルールの一貫性を確立。推定誤差と近似誤差の両方をバウンディング。
• ベイジアンブートストラップからの信頼区間を用いて、クラス割合の上限および下限を推定。実験では95%のカバレッジが観察された。
• グリッドサーチと3分割交差検証を用いてハイパーパrameterを最適化。精度とAUCを最大化するため、計算量を削減する目的で初期段階のバンド幅を再利用。

実験結果

リサーチクエスチョン

• RQ1 訓練データに1つのクラスが存在しない状況下でも、クラス割合推定を一貫して行うことは可能か？
• RQ2 異常クラスの訓練データが存在しない場合でも、一貫性のあるマルチクラス異常値拒否分類器を設計することは可能か？
• RQ3 混合割合推定をどのように活用すれば、マルチクラスドメイン適応設定下での未知クラス割合を効果的に推定できるか？
• RQ4 提案されたCPEおよびMCAR学習戦略の一貫性について、どのような理論的保証を提供できるか？
• RQ5 さまざまなベンチマークデータセットにおいて、クラス割合の推定信頼区間は、カバレッジと精度の観点でどのように性能を示すか？

主な発見

• 提案されたCPE手法は、16のベンチマークデータセットにおいて、真のクラス割合が推定された95パーセンタイル信頼区間内に94.7%から99.1%の割合で含まれた。
• SensIT（3クラス）やDNA（3クラス）といったマルチクラスデータセットでは、それぞれ99.1%および98.5%の真の割合が推定信頼区間内に収容された。
• 訓練およびテストサンプルサイズが大きいほど、信頼区間がより狭くなり、上限区間の標準偏差がデータセット全体で0.54から0.03にまで低下した。
• RingnormやTwonormといったバイナリデータセットでも、98.2%から99.1%のカバレッジを示し、強い実証的信頼性を示した。
• ベイジアンブートストラップによりモデルフィットが向上し、頑健な信頼区間が得られた。πの上側信頼区間は、下限ROC回帰を用いて推定された。
• マルチクラスVC理論を用いた理論的一貫性が確立され、サンプルサイズが増加するに従い、推定誤差と近似誤差の両方が0に収束することが示された。