[論文レビュー] Partial AUC Maximization via Nonlinear Scoring Functions

Naonori Ueda, Akinori Fujino|arXiv (Cornell University)|Jun 13, 2018

Anomaly Detection Techniques and Applications参考文献 9被引用数 5

ひとこと要約

本論文は、従来の線形関数の代わりに非線形スコア関数（特に生成モデル（GMM）および深層ニューラルネットワーク（DNN））を用いることで、バイナリ分類における部分AUC（pAUC）を最大化する新しい手法を提案する。超スーパー・スカイム・カメラ（Hyper Suprime-Cam）データを用いた実際の偽物でない一時的対象物分類の実験では、非線形スコア関数が線形ベースラインを著しく上回り、特に低FPR閾値においてGMM-pAUCがDNN-pAUCおよびSVM-pAUCよりも高いpAUCとTPRを達成している。

ABSTRACT

We propose a method for maximizing a partial area under a receiver operating characteristic (ROC) curve (pAUC) for binary classification tasks. In binary classification tasks, accuracy is the most commonly used as a measure of classifier performance. In some applications such as anomaly detection and diagnostic testing, accuracy is not an appropriate measure since prior probabilties are often greatly biased. Although in such cases the pAUC has been utilized as a performance measure, few methods have been proposed for directly maximizing the pAUC. This optimization is achieved by using a scoring function. The conventional approach utilizes a linear function as the scoring function. In contrast we newly introduce nonlinear scoring functions for this purpose. Specifically, we present two types of nonlinear scoring functions based on generative models and deep neural networks. We show experimentally that nonlinear scoring fucntions improve the conventional methods through the application of a binary classification of real and bogus objects obtained with the Hyper Suprime-Cam on the Subaru telescope.

研究の動機と目的

• クラス事前確率が著しく偏っている異常検出や診断テストなどの分野において、精度の限界を是正すること。
• 標準AUCの欠点を克服し、臨床的または実用的に関連性のある特定の偽陽性率（FPR）範囲に焦点を当てることで、部分AUC（pAUC）を用いること。
• 複雑なデータ分布を捉えることができない線形関数に依存せず、非線形スコア関数を学習することでpAUCを直接最適化する手法を開発すること。
• 実世界の応用において、特に生成モデルと深層ニューラルネットワークを用いた非線形スコア関数が、線形モデルを上回ることを示すこと。
• 提案手法をハイパーバイソン・スカイム・カメラ調査の光学的一時的対象物の実世界データセットに適用し、低FPR値における性能向上を検証すること。

提案手法

• 入力サンプルを実数スコアにマップするスコア関数 $ f: X \to \mathbb{R} $ を用いたpAUC最大化フレームワークを提案し、順序付けに使用する。
• 2種類の非線形スコア関数を導入：ガウス・ミックス・モデル（GMM）に基づく生成モデルと、ディープ・ニューラル・ネットワーク（DNN）に基づく識別モデル。
• FPRが範囲 $[\alpha, \beta]$ に制限されるように、正例と負例のペairの組み合わせに基づく微分可能な経験的pAUCを定式化する。
• GMMおよびDNNスコア関数のパラメータに対して確率的勾配降下法（SGD）を用いてpAUC目的関数を最適化し、エンドツーエンド学習を可能にする。
• pAUC推定器を、FPR範囲 $[\alpha, \beta]$ 内の正例と負例のペアワイズ比較の重み付き和として定義し、$\beta - \alpha$ で正規化する。
• スコアの順序付けに基づくしきい値戦略を用い、さまざまなしきい値におけるTPRとFPRを計算することで、指定されたFPR区間におけるpAUC計算を可能にする。

実験結果

リサーチクエスチョン

• RQ1 非線形スコア関数（GMMおよびDNN）は、不均衡バイナリ分類において線形スコア関数を上回るpAUCを達成できるか？
• RQ2 FPR範囲の上限である $\beta$ の選択が、pAUC最適化モデルの一般化性能にどのように影響するか？
• RQ3 低FPR領域において、生成モデルベースのスコア関数（GMM）は、識別的深層学習モデル（DNN）を上回るpAUC性能を達成できるか？
• RQ4 非線形スコア関数によるpAUC最適化は、標準AUC最適化や交差エントロピー学習に比べ、実世界の異常検出タスクでより効果的か？
• RQ5 FPR低域におけるトレーニングデータの不足が、$\beta$ を小さく設定した場合に過学習および性能低下に与える影響は何か？

主な発見

• GMM-pAUCモデルは $\beta = 0.05$ および $\beta = 0.1$ で、FPR=0.05における平均pAUCが88.4%、FPR=0.1における平均pAUCが94.0%を達成し、GMM-AUCモデル（FPR=0.05で89.0%、FPR=0.1で95.1%）を上回った。これは、pAUCに特化した最適化が、特定のFPR範囲内での性能向上に寄与することを示している。
• DNN-pAUCモデルは $\beta = 0.05$ および $\beta = 0.1$ で、FPR=0.05におけるpAUCが88.4%（DNN-AUCモデルは80.3%）およびFPR=0.1におけるpAUCが94.0%（DNN-AUCモデルは92.2%）を記録し、直接的なpAUC最適化の利点を裏付けた。
• GMM-pAUC分類器は $\beta=0.05$ でFPR=0.05において88.4%のTPRを達成し、同じFPRでDNN-pAUC（79.3%）およびSVM-pAUC（68.2%）を著しく上回った。
• $\beta = 0.01$ に設定した場合、GMM-pAUCおよびDNN-pAUCの両方で性能が悪化した。これは、少数の負例サンプルに過学習するリスクを示しており、FPR範囲がしすぎて狭いと危険であることを示している。
• GMM-pAUCモデルは $\beta=0.1$ でFPR=0.1において91.8%のTPRを達成し、DNN-pAUC（88.9%）およびSVM-pAUC（85.5%）を上回った。これは、データ分布により適したモデルフィットを示している。
• GMMベースのスコア関数は、pAUCおよびTPRの両面でDNNベースのものよりも優れており、光学的一時的対象物データセットにおける潜在的データ分布のモデリングが優れていると考えられる。