[論文レビュー] Minimum Density Hyperplanes

Nicos G. Pavlidis, David P. Hofmeyr+1 more|arXiv (Cornell University)|Jul 15, 2015

Face and Expression Recognition参考文献 50被引用数 3

ひとこと要約

本稿では、ハイパーフレームに沿った経験的密度の積分を最小化することで、高密度領域を避けることでクラスタを分離する、新しい分類器「最小密度ハイパーフレーム」を提案する。最小密度と最大マージンハイパーフレームの漸近的同等性を証明し、SVM や半教師付き学習と結びつける。また、効率的な計算のためのプロジェクション・パーサー法を提案し、強力な経験的性能を示す。

ABSTRACT

Associating distinct groups of objects (clusters) with contiguous regions of high probability density (high-density clusters), is central to many statistical and machine learning approaches to the classification of unlabelled data. We propose a novel hyperplane classifier for clustering and semi-supervised classification which is motivated by this objective. The proposed minimum density hyperplane minimises the integral of the empirical probability density function along it, thereby avoiding intersection with high density clusters. We show that the minimum density and the maximum margin hyperplanes are asymptotically equivalent, thus linking this approach to maximum margin clustering and semi-supervised support vector classifiers. We propose a projection pursuit formulation of the associated optimisation problem which allows us to find minimum density hyperplanes efficiently in practice, and evaluate its performance on a range of benchmark datasets. The proposed approach is found to be very competitive with state of the art methods for clustering and semi-supervised classification.

研究の動機と目的

• 高密度領域を避けることでクラスタを分離するハイパーフレームに基づく分類器を開発し、低密度分離の統計的原則に整合させる。
• 高次元における従来の密度ベースのクラスタリング手法の限界を克服するため、グローバルな密度推定ではなく、局所的密度特性に焦点を当てる。
• 強いパrametric仮定を必要とせず、明確に定義された母集団量（密度レベル集合）を推定する統計的に根拠のある手法を提供する。
• SVM などの最大マージン手法と密度ベースのクラスタリングの間のギャップを埋めるために、最小密度ハイパーフレームと最大マージンハイパーフレームの間の漸近的同等性を証明する。
• 低密度分離仮定に基づき、未ラベルデータを活用することで、効果的な半教師付き分類を可能にする。

提案手法

• ハイパーフレームに沿った経験的確率密度関数の積分を最小化することで、高密度クラスタを避ける最小密度ハイパーフレームを提案する。
• 非凸最適化問題を効率的に解くためにプロジェクション・パーサーの定式化を用い、高次元空間における実用的計算を可能にする。
• バンド幅パrameter h を用いたカーネル密度推定を用いて、経験的密度関数を近似する。
• バンド幅 h → 0 のとき、一意性の仮定の下で最小密度ハイパーフレームが最大マージンハイパーフレームに収束することを証明する。
• サポートベクターとマージン制約に基づく幾何的議論を用いて、最小密度解に近い任意のハイパーフレームは、最大マージン解に対しても近いことを示す。
• 補題を用いて、マージンのずれとノルム制約の観点から、最小密度ハイパーフレームと最大マージンハイパーフレームの距離を評価する。

実験結果

リサーチクエスチョン

• RQ1 ハイパーフレームに沿った経験的密度の積分を最小化する手法が、統計的に根拠のある方法で高密度クラスタを効果的に分離できるか？
• RQ2 標準的な仮定の下で、最小密度ハイパーフレームは最大マージンハイパーフレームと漸近的に同等か？
• RQ3 非凸最適化問題の性質にもかかわらず、最小密度ハイパーフレームは実用的に効率的に計算可能か？
• RQ4 ベンチマークデータセットにおいて、提案手法は最先端のクラスタリングおよび半教師付き分類アルゴリズムと比較して、性能に優れるか？
• RQ5 最小密度ハイパーフレームは、半教師付き学習における低密度分離仮定の一般化の利点を引き継いでいるか？

主な発見

• 最小密度ハイパーフレームは、最小密度と最大マージンハイパーフレームの間の理論的リンクを確立し、密度ベースとマージンベースの分類の間の漸近的同等性を示す。
• 提案されたプロジェクション・パーサーの定式化により、高次元データにおいても最小密度ハイパーフレームの効率的計算が可能になる。
• ベンチマークデータセットにおいて、提案手法はクラスタリングおよび半教師付き分類のタスクで、最先端の手法と同等またはそれを上回る性能を達成する。
• 収束結果により、十分に小さなバンド幅 h に対して、最小密度ハイパーフレームは最大マージンハイパーフレームと同じデータ分割を誘導することが示された。
• 証明により、最小密度解から小さな距離 ɛ 以内にある任意のハイパーフレームは、最大マージン解に対しても ɛ 以内に位置することを確認し、漸近的整合性を裏付けた。
• 本手法は高次元データに対してロバストであり、従来の非パラメトリック密度推定が直面する次元の呪いを回避する。