[論文レビュー] Distance Measure Machines

Alain Rakotomamonjy, Abraham Traoré+3 more|arXiv (Cornell University)|Mar 1, 2018

Face and Expression Recognition参考文献 29被引用数 4

ひとこと要約

本稿では、基準テンプレートへの対比較の類似度を用いて確率分布を埋め込むことで、分布を識別するためのフレームワークである距離測度機械（DMM）を提案する。実証的 Wasserstein 距離が高確率かつ低誤差の線形分類を可能にすることを証明し、合成的および現実世界のタスクにおいて、カーネル平均埋め込みや MMD を用いた手法を上回る性能を示した。

ABSTRACT

This paper presents a distance-based discriminative framework for learning with probability distributions. Instead of using kernel mean embeddings or generalized radial basis kernels, we introduce embeddings based on dissimilarity of distributions to some reference distributions denoted as templates. Our framework extends the theory of similarity of Balcan et al. (2008) to the population distribution case and we show that, for some learning problems, some dissimilarity on distribution achieves low-error linear decision functions with high probability. Our key result is to prove that the theory also holds for empirical distributions. Algorithmically, the proposed approach consists in computing a mapping based on pairwise dissimilarity where learning a linear decision function is amenable. Our experimental results show that the Wasserstein distance embedding performs better than kernel mean embeddings and computing Wasserstein distance is far more tractable than estimating pairwise Kullback-Leibler divergence of empirical distributions.

研究の動機と目的

• 固定次元の特徴ベクトルではなく、確率分布からの学習という課題に取り組む。
• Wasserstein 距離のような類似度測度を直接用いることで、カーネルベースの手法の限界を克服する。
• 経験的類似度埋め込みが高確率で低誤差の線形分類器をもたらすという理論的保証を確立する。
• 実験的に、Wasserstein に基づく埋め込みが MMD やカーネル平均埋め込みを上回ることを示す。
• Balcan ら（2008）の類似度フレームワークを、収束する類似度関数を用いて経験的分布へと拡張する。

提案手法

• 各経験的分布を、基準テンプレート（分布）との対比較類似度のベクトルとして埋め込む。
• 分布間の類似度測度として Wasserstein 距離を用い、その収束性の良い性質を活用する。
• 埋め込み済みの類似度空間で線形分類を適用し、効率的かつスケーラブルな学習を実現する。
• 理論的分析により、十分なサンプル数とテンプレート数があれば、経験的埋め込みが識別性能を保持することを示した。
• Bures-Wasserstein 距離が理論的保証に必要な収束条件を満たすことを証明した。
• パラメトリックな仮定に起因するモデル不適合を避けるために、Wasserstein 距離の非パラメトリック推定を用いた。

実験結果

リサーチクエスチョン

• RQ1 経験的分布の類似度ベース埋め込みは、高確率で低誤差の線形分類を達成できるか？
• RQ2 Wasserstein 距離は、分布分類においてカーネル平均埋め込みよりも効果的な埋め込みを提供するか？
• RQ3 Balcan ら（2008）の理論的フレームワークは、収束する類似度関数を用いて経験的分布へと拡張可能か？
• RQ4 テンプレート数が、得られる分類器の分離可能性と性能に与える影響は何か？
• RQ5 Bures-Wasserstein 距離は、標準的な Wasserstein 距離と同等の理論的保証と実験的性能を提供するか？

主な発見

• 提案された Wasserstein を用いた距離測度機械（WDMM）は、合成実験において広い次元範囲で 90% の分類精度を達成し、MMD を用いた手法が 70% 未満に plateau するのに対し、優れた性能を示した。
• 3D ポイントクラウド分類タスク（ModelNet10）では、WDMM が線形分類を用いてテスト精度 97.30% を達成し、MMD を用いたアプローチを著しく上回った。
• Bures-Wasserstein 距離は、ポイントクラウドが正規分布の仮定を満たさないため、モデル不適合の影響を受けて 3D ポイントクラウドでは性能が劣った。
• 非パラメトリックな距離推定を用いた WDMM は、自然シーン分類タスクで 95.52% の精度を達成し、MMD やカーネルベースの手法を上回った。
• 理論的分析により、経験的 Wasserstein 距離が、高確率で低誤差の線形分類を維持するための必要な収束性を満たすことが確認された。
• 類似度埋め込みに 90 個のテンプレートを使用した場合、10 個や 45 個のテンプレートよりも分離性が向上しており、テンプレートカバレッジの増加による利点が示された。