[論文レビュー] Kernels on Sample Sets via Nonparametric Divergence Estimates

Danica J. Sutherland, Liang Xiong+2 more|arXiv (Cornell University)|Feb 1, 2012

Face and Expression Recognition参考文献 62被引用数 17

ひとこと要約

本稿では、k-NNに基づく発散推定器を用いて確率分布間のカーネル関数を推定することで、標本集合における機械学習のための非パrametricカーネル手法を提案する。この手法により、カーネルマシンがデータポイントの集合としての分布を扱えるようになり、密度推定を必要としない一貫性のある推定のもとで、分類、回帰、異常検知、多様体学習の分野で最先端の性能を達成する。

ABSTRACT

Most machine learning algorithms, such as classification or regression, treat the individual data point as the object of interest. Here we consider extending machine learning algorithms to operate on groups of data points. We suggest treating a group of data points as an i.i.d. sample set from an underlying feature distribution for that group. Our approach employs kernel machines with a kernel on i.i.d. sample sets of vectors. We define certain kernel functions on pairs of distributions, and then use a nonparametric estimator to consistently estimate those functions based on sample sets. The projection of the estimated Gram matrix to the cone of symmetric positive semi-definite matrices enables us to use kernel machines for classification, regression, anomaly detection, and low-dimensional embedding in the space of distributions. We present several numerical experiments both on real and simulated datasets to demonstrate the advantages of our new approach.

研究の動機と目的

• 各グループを潜在的な分布からの標本集合として扱うことで、カーネルマシンをデータポイントの集合に拡張すること。
• 従来のベクトル化手法が失敗するかバイアスを生じるような状況において、データポイントの集合を機械学習の特徴として表現する課題に対処すること。
• 密度推定を必要とせず、k-NN距離のみを用いて分布間のカーネル関数の一貫性のある非パrametric推定器を開発すること。
• 分類、回帰、異常検知、次元削減などの教師あり・教師なし学習タスクを、分布の空間上で実行可能にする。

提案手法

• k-NN距離に基づく発散推定器を用いて、分布間のカーネル関数を非パrametricに推定する。
• f-発散の変分的特徴付けを用いて、明示的な密度推定を要せず一貫性のある推定器を導出する。
• カーネルマシンの有効性を保証するため、推定されたグラム行列を対称的で正定値半定値行列の錐上に射影する。
• 非パrametric発散推定を介して、線形、多項式、ガウスカーネルを含む一般化されたカーネルフレームワークを構築する。
• SVMにおける推定されたカーネル行列を用いて分類および回帰を実行し、LLEでは分布の低次元埋め込みを実現する。
• 実データおよびシミュレーテッドデータを用いて手法の妥当性を検証し、画像エッジ集合や回転させたガウス分布を含む、ロバストで一貫性のある性能を示す。

実験結果

リサーチクエスチョン

• RQ1 データポイントの集合を、それらが潜在分布からの標本であるとモデル化することで、カーネルマシンを効果的にデータポイントの集合に拡張できるか？
• RQ2 有限のi.i.d.標本集合から、密度推定を必要とせずに分布間のカーネル関数を一貫して推定できるか？
• RQ3 k-NN距離に基づく非パrametric発散推定器は、分布レベルの学習において、パラメトリックまたは密度ベースのカーネル推定法を上回る性能を示せるか？
• RQ4 カーネルマシンを分布の空間に適用することで、従来の点ベース手法と比較して、異常検知や多様体学習の性能がどの程度向上するか？
• RQ5 特徴量や画像の集合を入力とした場合、分布レベルの回帰および埋め込みは、局所的な幾何的構造を保持できるか？

主な発見

• 本手法は、Beta(a,3)分布の歪度を標本集合から学習する際、テストRMSEが0.012に達し、非パrametric回帰における高い精度を示した。
• 回転させた2次元ガウス分布の1次元周辺分布のエントロピー推定において、本手法はテストRMSEが0.058に達し、複雑な分布回帰においてもロバストであることを示した。
• 分布上のLLEは、エッジ検出画像間のオルソゴナル距離が失敗するのに対し、回転させたガウス分布の局所幾何を効果的に保持した。
• COIL-100データセットにおいて、エッジ検出画像の分布レベル表現を用いたLLEは、近接する回転を近接する点に正しく埋め込み、標準LLEは失敗した。
• 提案された非パrametricカーネル推定器は一貫性のある密度推定を回避し、弱い正則性条件のもとで一貫性のあるカーネル推定を提供し、真の分布が指数型分布族に属さない場合にパラメトリック代替手法を上回った。
• 本手法はLLEを分布に一般化し、分布データの有効な低次元埋め込みを可能にするとともに、内在する幾何的構造を保持した。