[論文レビュー] Mixture Proportion Estimation via Kernel Embedding of Distributions

Harish G. Ramaswamy, Clayton Scott+1 more|arXiv (Cornell University)|Mar 8, 2016

Machine Learning and Data Classification参考文献 21被引用数 41

ひとこと要約

本稿では、再生カーネルヒルバート空間（RKHS）への確率分布のカーネル埋め込みを用いて、混合割合推定（MPE）のための新規で効率的なアルゴリズムを提案する。${\mathcal{C}}$-距離を用いてMPEを凸二次計画問題に定式化し、分離性条件を導入することで、真の混合割合への証明可能な収束速度を達成し、条件付き確率推定を必要とせず、標準データセットにおいて既存手法を上回る性能を発揮する。

ABSTRACT

Mixture proportion estimation (MPE) is the problem of estimating the weight of a component distribution in a mixture, given samples from the mixture and component. This problem constitutes a key part in many "weakly supervised learning" problems like learning with positive and unlabelled samples, learning with label noise, anomaly detection and crowdsourcing. While there have been several methods proposed to solve this problem, to the best of our knowledge no efficient algorithm with a proven convergence rate towards the true proportion exists for this problem. We fill this gap by constructing a provably correct algorithm for MPE, and derive convergence rates under certain assumptions on the distribution. Our method is based on embedding distributions onto an RKHS, and implementing it only requires solving a simple convex quadratic programming problem a few times. We run our algorithm on several standard classification datasets, and demonstrate that it performs comparably to or better than other algorithms on most datasets.

研究の動機と目的

• 非パラメトリックな混合割合推定（MPE）に対して、最小限の仮定の下で効率的かつ証明可能な収束性を有するアルゴリズムの欠如を解消すること。
• 単一のスカラー割合を推定するために、計算コストが高く間接的な条件付き確率推定を回避する手法の開発。
• 成分分布と混合分布の間の新しい分離性条件の下で、MPEの理論的収束速度を確立すること。
• 二分探索と凸最適化に基づく実装可能なアルゴリズムを提供し、実世界のデータセットにおいて競争力のある性能を発揮すること。

提案手法

• 正定値カーネルを用いて、成分分布と混合分布を再生カーネルヒルバート空間（RKHS）に埋め込む。
• ${\mathcal{C}}$-距離を導入し、候補となる混合割合を、推定された分布の整合性と真の分布の整合性のずれを測る関数にマッピングする。
• 新しい「分離性」条件の下で、${\mathcal{C}}$-距離関数は真の混合割合を唯一の最小化点として特定する。
• 候補となる割合の範囲に対して二分探索を実行し、各ステップで簡単な凸二次計画問題を解いて${\mathcal{C}}$-距離を評価する。
• モデルフィッティングや確率推定を一切行わず、混合分布と成分分布からのサンプルのみに依存する。
• 分布の分離性とカーネル作用素の固有構造に関する仮定の下で、収束速度を導出する。

実験結果

リサーチクエスチョン

• RQ1 最小限の仮定の下で、証明可能な収束性と効率性を有する非パラメトリックな混合割合推定のためのアルゴリズムを開発可能か？
• RQ2 RKHSへのカーネル埋め込みは、条件付き確率推定を必要とする手法と比較して、より直接的かつ正確な混合割合推定を可能にするか？
• RQ3 新しい分離性条件の下で、提案された推定量の理論的収束速度をどのように確立できるか？
• RQ4 提案手法の性能は、実世界のデータセットにおける既存の最先端MPEアルゴリズムと比較してどの程度か？

主な発見

• 分離性条件の下で、提案手法は真の混合割合への証明可能な収束を達成し、収束速度はサンプルサイズの観点から導出された。
• アルゴリズムは計算的に効率的であり、凸二次計画問題の数回の解法で十分で、条件付き確率の推定を必要としない。
• waveform、mushroom、pageblocks、shuttle、spambaseといった標準ベンチマークデータセットにおいて、特にサンプルサイズが大きい場合に、絶対誤差の観点で既存手法を上回るか同等の性能を発揮する。
• 異なるデータセットとサンプルサイズの組み合わせにおいて、性能が安定しており、16組のデータセット-サンプルサイズのうち7組で平均絶対誤差が最小となった。
• 統計的有意性検定（Wilcoxon符号順位検定）により、複数の設定で0.05水準で提案手法が顕著に優れていることが確認された。
• 実験的性能は強く、誤差はサンプルサイズが増加するにつれて減少し、導出された理論的収束速度と整合的である。