[論文レビュー] Estimating the Accuracies of Multiple Classifiers Without Labeled Data

Ariel Jaffe, Boaz Nadler+1 more|arXiv (Cornell University)|Jul 29, 2014

Machine Learning and Data Classification参考文献 20被引用数 28

ひとこと要約

この論文は、ラベルなしデータを用いて複数のバイナリ分類器の精度を推定するスペクトル的手法を提案する。分類器の予測共分散行列とテンソルのランク1構造を活用し、一貫性があり計算効率の良いアルゴリズム（i-SML）を導入。クラスの不均衡と各分類器の感度・特異度を推定することでアンサンブル性能を向上させ、$\mathcal{O}_P(1/\sqrt{n})$ のレート最適な誤差収束を達成する。

ABSTRACT

In various situations one is given only the predictions of multiple classifiers over a large unlabeled test data. This scenario raises the following questions: Without any labeled data and without any a-priori knowledge about the reliability of these different classifiers, is it possible to consistently and computationally efficiently estimate their accuracies? Furthermore, also in a completely unsupervised manner, can one construct a more accurate unsupervised ensemble classifier? In this paper, focusing on the binary case, we present simple, computationally efficient algorithms to solve these questions. Furthermore, under standard classifier independence assumptions, we prove our methods are consistent and study their asymptotic error. Our approach is spectral, based on the fact that the off-diagonal entries of the classifiers' covariance matrix and 3-d tensor are rank-one. We illustrate the competitive performance of our algorithms via extensive experiments on both artificial and real datasets.

研究の動機と目的

• ラベルなしの状況、特に分類器の信頼性が不明な状況において、分類器の精度を推定する課題に対処すること。
• 既知の性能情報なしに、計算効率が良く、複数の分類器の真の精度を順位付け・推定できる非教師あり手法を開発すること。
• 予測共分散構造を活用することで、従来の手法（例：多数決やSML）よりもより正確な非教師ありアンサンブル分類器を構築すること。
• 標準的な独立性仮定の下で、提案された推定量の理論的一貫性と漸近的誤差率を提供すること。
• 標準的還元法を用いて多クラス分類に拡張するが、主な焦点は二値分類に留める。

提案手法

• 分類器の予測の $m \times m$ 共分散行列と $m \times m \times m$ 共分散テンソルのランク1構造を、分類器の独立性のもとで活用する。
• 共分散行列とテンソルの共通の最大固有ベクトルから、固有値が異なる条件下でクラスの不均衡パラメータ $b$ を最小二乗法により抽出する。
• 1次元スキャン上の制限付き尤度最大化に基づく第二の手法を提案し、真の不均衡値で最大値をとる。
• 推定された $b$ と観測された予測頻度を用いて、各分類器の感度と特異度を推定する。
• 推定された精度を用いて分類器の予測を組み合わせることで、SML や多数決よりも優れた i-SML 非教師ありアンサンブル学習器を構築する。
• スペクトル分解とテンソル解析を用いて、ラベルなしの予測行列から潜在的な分類器の信頼性を回復する。

実験結果

リサーチクエスチョン

• RQ1 ラベルなし、かつ分類器の信頼性に関する事前知識なしに、複数の分類器の精度を一貫して推定することは可能か？
• RQ2 ラベルなしの予測のみを用いて、多数決やSMLといった従来手法よりも正確な非教師ありアンサンブル分類器を構築することは可能か？
• RQ3 提案された精度推定手法の漸近的誤差率は何か？ また、これはレート最適か？
• RQ4 スペクトル的手法と尤度ベース手法によるクラス不均衡推定の精度と計算効率は、どのように比較できるか？
• RQ5 提案手法は、一貫性と効率性を維持したまま多クラス分類に拡張可能か？

主な発見

• 提案されたテンソルベースの手法は、与えられた仮定の下で漸近的誤差率 $\mathcal{O}_P(1/\sqrt{n})$ を達成し、これはレート最適である。
• 制限付き尤度推定器は、人工的および実データの両方で実験的に、テンソルベースの推定器を上回る精度を示した。
• i-SMLアンサンブル手法は、'magic'データセットにおいてSMLよりもバランス精度を約2%向上させ、30回のランダムな実行で一貫した改善を示した。
• 実験的結果は、無作為なインスタンス数 $n$ が増加するにつれて、両アルゴリズムが真のクラス不均衡に収束し、対数スケールの平均二乗誤差が減少することを確認した。
• i-SMLは、MNIST やUCIデータセットを含むすべてのテストデータセットで、多数決やSMLを著しく上回り、安定的かつ一貫した向上を示した。
• 理論的解析により、分類器誤差の独立性仮定の下で両推定量の一貫性が確認され、実験では有限標本でも良好な性能が観察された。