[論文レビュー] Information, Divergence and Risk for Binary Experiments

Mark D. Reid, Robert C. Williamson|ArXiv.org|Jan 5, 2009

Advanced Statistical Methods and Models参考文献 133被引用数 4

ひとこと要約

本稿は、積分的および変分的表現を通じて、f-発散、Bregman発散、サーロージェット損失境界、適切なスコアリングルール、および情報測度を統一し、それらがすべてコスト感受性バイナリ分類問題に起因することを明らかにする。新たなよりタイトなサーロージェット損失境界と一般化された Pinsker 不等式を導出し、発散最小化によるSVMの新しい変分的導出を提供する。

ABSTRACT

We unify f-divergences, Bregman divergences, surrogate loss bounds (regret bounds), proper scoring rules, matching losses, cost curves, ROC-curves and information. We do this by systematically studying integral and variational representations of these objects and in so doing identify their primitives which all are related to cost-sensitive binary classification. As well as clarifying relationships between generative and discriminative views of learning, the new machinery leads to tight and more general surrogate loss bounds and generalised Pinsker inequalities relating f-divergences to variational divergence. The new viewpoint illuminates existing algorithms: it provides a new derivation of Support Vector Machines in terms of divergences and relates Maximum Mean Discrepancy to Fisher Linear Discriminants. It also suggests new techniques for estimating f-divergences.

研究の動機と目的

• バイナリ学習における異なる概念—f-発散、Bregman 発散、リスク、レジット、ROC曲線、および情報—を共通の数学的枠組みの下に統一すること。
• これらの概念の背後にある基本的プリミティブを特定し、それらがすべてコスト感受性バイナリ分類問題に還元されることを示すこと。
• 統一された変分的表現から、よりタイトで一般的なサーロージェット損失境界および一般化された Pinsker 不等式を確立し、f-発散と変分的発散との関係を明らかにすること。
• 共通の変分的表現を通じて、生成的学習と判別的学習のパラダイムの深い関係を明らかにすること。
• SVM などの既存のアルゴリズムの新しい導出および f-発散の推定技術の新規な手法を、統一された枠組みを用いて提供すること。

提案手法

• 重み付き積分形式を用いて、f-発散、Bregman 発散、および適切なスコアリングルールの積分的および変分的表現を体系的に導出する。
• f-発散の重み関数と適切なスコアリングルールの重み関数の間の対応関係を確立し、一致する重み関数が同一の発散または損失をもたらすことを示す。
• テイラー級数展開を用いて、異なる発散および損失タイプ間の積分的表現を統一する。
• 変分的最適化を適用し、実証的クラス条件分布間の一般化された変分的発散を最小化する問題としてSVMを導出する。
• 新しい変分的枠組みを用いて、Maximum Mean Discrepancy (MMD) をフィッシャー線形判別として再解釈する。
• α-重み付き実証的近似戦略を導入し、標準的な ERM の順序を逆転させることで、学習アルゴリズム設計の新しい帰納的原則を可能にする。

実験結果

リサーチクエスチョン

• RQ1 f-発散、Bregman 発散、サーロージェット損失、および適切なスコアリングルールが、一体的な枠組みの下でどのように統一されるか？
• RQ2 バイナリ実験におけるリスク、発散、および情報の背後にある基本的プリミティブは何か？
• RQ3 統一された変分的表現から、よりタイトなサーロージェット損失境界および一般化された Pinsker 不等式を導出できるか？
• RQ4 新しい変分的枠組みは、SVM アルゴリズムの新しい導出をどのように可能にするか？
• RQ5 この統一的表現下で、AUC、ROC曲線、およびf-発散の関係は何か？

主な発見

• 本稿は、f-発散の重み関数と適切なスコアリングルールの重み関数の間の直接的な関係を確立し、同一の重み関数が同一の発散または損失をもたらすことを示した。
• レジットを変分的発散の観点から表現することで、よりタイトな新たなサーロージェット損失境界を導出し、古典的な Pinsker 不等式を一般化した。
• SVM は、実証的クラス条件分布間の一般化された変分的発散を最小化するという変分的視点から導出された。
• この枠組みにより、統計的情報と f-発散が両方とも Bregman 情報の特別なケースであることが明らかになり、それらの取り扱いが統一された。
• 受容器操作特性曲線（AUC）が、新しい積分的表現を通じて f-発散と直接関係していることが示された。
• α-重み付き実証的近似戦略は、関数族を実証的近似の前に制限することで、過学習を回避する新しい帰納的原則を提供し、標準的な ERM とは異なる。