[論文レビュー] The empirical Christoffel function with applications in Machine Learning

Jean B. Lasserre, Edouard Pauwels|arXiv (Cornell University)|Jan 11, 2017

Bayesian Methods and Mixture Models参考文献 30被引用数 6

ひとこと要約

本稿では、確率測度の台を推定し、外れ値を検出するために、漸近的一貫性を活用する、経験的クリストッフェル関数を機械学習のツールとして導入する。モーメントに基づく台回復のためのしきい値設定法を提案し、密度推定、新奇性検出、および実データおよび合成データにおけるアフィンマッチングの分野で、強固な理論的保証と実用的有用性を示している。

ABSTRACT

We illustrate the potential applications in machine learning of the Christoffel function, or more precisely, its empirical counterpart associated with a counting measure uniformly supported on a finite set of points. Firstly, we provide a thresholding scheme which allows to approximate the support of a measure from a finite subset of its moments with strong asymptotic guaranties. Secondly, we provide a consistency result which relates the empirical Christoffel function and its population counterpart in the limit of large samples. Finally, we illustrate the relevance of our results on simulated and real world datasets for several applications in statistics and machine learning: (a) density and support estimation from finite samples, (b) outlier and novelty detection and (c) affine matching.

研究の動機と目的

• 有限モーメントから測度の台を強く漸近的に一貫するように近似するしきい値設定法を開発すること。
• 標本サイズが大きくなる極限において、経験的クリストッフェル関数とその母集団版との間の理論的関係を確立すること。
• 密度推定、外れ値検出、アフィンマッチングなどの機械学習応用分野における実用的有用性を示すこと。
• 近似理論に基づくモーメントに基づく手法に根ざした、サポートおよび密度推定の統一枠組みを提供すること。

提案手法

• 有限個のデータポイントに一様に重みが割り当てられた計数測度から導かれる経験的クリストッフェル関数を使用する。
• 有限モーメントから未知の測度の台を特定するために、経験的クリストッフェル関数に基づくしきい値ルールを適用する。
• 標本サイズが増加するにつれて、経験的クリストッフェル関数が母集団バージョンに対して一貫するという性質を確立する。
• カーネルベースおよび多項式近似技術を用いて、クリストッフェル関数と密度・台推定との関係を確立する。
• 関数値が著しく低い点を異常値として特定することで、クリストッフェル関数を外れ値検出に統合する。
• 関数値による幾何的整合性の測定を通じて、クリストッフェル関数をアフィンマッチングに適応する。

実験結果

リサーチクエスチョン

• RQ1 有限個のモーメントから、経験的クリストッフェル関数を用いて測度の台を一貫して回復できるか？
• RQ2 標本サイズが増加するにつれて、経験的クリストッフェル関数はどのように母集団版に収束するか？
• RQ3 有限標本において、クリストッフェル関数は外れ値および新奇データポイントをどの程度正確に検出できるか？
• RQ4 有限データから分布の台および密度を推定する際に、クリストッフェル関数はどの程度有効か？
• RQ5 点群間のアフィンマッチング問題を、機械学習タスクにおいてクリストッフェル関数を用いて解けるか？

主な発見

• 提案されたしきい値設定法は、有限モーメントから測度の台を回復する上で、強い漸近的保証を提供する。
• 標本サイズが無限大に近づくにつれて、経験的クリストッフェル関数はほとんど確実に母集団クリストッフェル関数に収束する。
• シミュレーションおよび実世界のデータセットの両方で、密度および台推定が高精度に達成され、特定の条件下ではベースライン手法を上回る。
• クリストッフェル関数に基づく外れ値検出は、低密度領域への感受性の高さから、高精度に異常値を特定する。
• クリストッフェル関数を用いたアフィンマッチングは、ノイズおよび部分的な対応がある場合にも、ロバストであることが示された。
• 理論的および実験的結果から、経験的クリストッフェル関数が統計的学習およびデータ解析における包括的ツールとしての有効性が確認された。