[論文レビュー] Learning Discriminative Metrics via Generative Models and Kernel Learning

Yuan Shi, Yung‐Kyun Noh+2 more|arXiv (Cornell University)|Sep 19, 2011

Generative Adversarial Networks and Image Synthesis参考文献 23被引用数 3

ひとこと要約

本稿では、分類のためのメトリック学習を向上させるために、生成的局所メトリックと判別的カーネル学習を統合する統一フレームワークを提案する。パラメトリックな生成的モデルを用いて局所メトリックを学習し、線形または非線形なカーネル学習によりそれらを組み合わせることで、ベースライン手法よりも顕著な性能向上を達成するとともに、学習時間を桁違いに短縮する。

ABSTRACT

Metrics specifying distances between data points can be learned in a discriminative manner or from generative models. In this paper, we show how to unify generative and discriminative learning of metrics via a kernel learning framework. Specifically, we learn local metrics optimized from parametric generative models. These are then used as base kernels to construct a global kernel that minimizes a discriminative training criterion. We consider both linear and nonlinear combinations of local metric kernels. Our empirical results show that these combinations significantly improve performance on classification tasks. The proposed learning algorithm is also very efficient, achieving order of magnitude speedup in training time compared to previous discriminative baseline methods.

研究の動機と目的

• 純粋に判別的なまたは生成的なメトリック学習の限界を解消するため、両アプローチを統合すること。
• グローバルな判別的フレームワークにおいて局所メトリックをベースカーネルとして活用することで、メトリック学習における計算コストを低減すること。
• カーネル学習を用いて局所メトリックを効果的に組み合わせることで、分類性能を向上させること。
• 従来の判別的ベースラインと比較して、顕著な学習速度の高速化を達成すること。

提案手法

• データに適合するパラメトリックな生成的モデルを用いて局所メトリックを学習し、近隣探索分類におけるバイアスを最小化する。
• これらの局所メトリックをグローバルなカーネル学習フレームワークのベースカーネルとして使用する。
• 判別的基準を最適化することで、ベースカーネルの線形または非線形な組み合わせによりグローバルカーネルを構築する。
• SimpleMKLアルゴリズムを用いて、ベースカーネルの最適な組み合わせ重みを学習する。
• データの分割ごとの平均化された局所メトリック（地域的メトリック）を用いることで、一般化性能を向上させるとともに、計算オーヘッドを低減する。
• EMに類似した手続きを繰り返し適用することで、非教師あり学習にフレームワークを拡張する。

実験結果

リサーチクエスチョン

• RQ1 生成的局所メトリックを判別的カーネル学習フレームワーク内で効果的に組み合わせることで、分類性能を向上させることができるか？
• RQ2 線形および非線形な局所メトリックの組み合わせは、精度と効率の観点でどのように比較されるか？
• RQ3 提案手法は、既存の判別的メトリック学習ベースラインに対して顕著な高速化を達成できるか？
• RQ4 クラスタリングや次元削減といった非教師あり学習タスクにおいて、この手法はどれほど一般化性能を示すか？
• RQ5 異なる分割戦略（例：P=1,5,10）が、非線形メトリックの組み合わせ性能に与える影響は何か？

主な発見

• 生成的局所メトリックの非線形組み合わせは、3-Normalデータセットで2.31%の誤分類誤差を達成し、ベースライン手法（6.08%）を著しく上回った。
• Irisデータセットでは、提案手法が2.78%の誤差にまで低下したのに対し、ベースラインは5.56%であったため、顕著な改善が得られた。
• 従来の判別的ベースライン手法と比較して、学習時間に最大1桁の高速化を達成した。
• IsomapにおけるグローバルメトリックM^UNIの使用により、多様体埋め込みの品質が向上し、MNISTデータセットにおける数字クラスのクラスタリングが明確になった。
• 7つの小規模データセットのうち5つでベースラインを上回ったが、特に3-Normal、Iris、Vehicleで顕著な向上が見られた。
• 多数のデータセットで優れた性能を示したが、Ionosphereデータセットでは性能が低く、データ分布やメトリックの組み合わせ戦略に対する感受性が示唆された。