[論文レビュー] On Kernelization of Supervised Mahalanobis Distance Learners

Ratthachat Chatpatanasiri, Teesid Korsrilabutr+2 more|ArXiv.org|Apr 9, 2008

Face and Expression Recognition参考文献 28被引用数 16

ひとこと要約

本稿では、NCA、LMNN、DNEといった教師ありマハラノビス距離学習手法の非線形拡張を、新たな数式を導出したり再プログラミングをしたりすることなく、KPCAトリックフレームワークを用いてカーネル化する新手法を提案する。形式的にレプリサーザ theorem を証明し、カーネル構築法（カーネル整合性と非加重カーネル結合）を効率的に導入した。27の実世界データセットにおいて一貫した性能向上を示し、交差検証と比較して著しく短い実行時間で実現した。

ABSTRACT

This paper focuses on the problem of kernelizing an existing supervised Mahalanobis distance learner. The following features are included in the paper. Firstly, three popular learners, namely, "neighborhood component analysis", "large margin nearest neighbors" and "discriminant neighborhood embedding", which do not have kernel versions are kernelized in order to improve their classification performances. Secondly, an alternative kernelization framework called "KPCA trick" is presented. Implementing a learner in the new framework gains several advantages over the standard framework, e.g. no mathematical formulas and no reprogramming are required for a kernel implementation, the framework avoids troublesome problems such as singularity, etc. Thirdly, while the truths of representer theorems are just assumptions in previous papers related to ours, here, representer theorems are formally proven. The proofs validate both the kernel trick and the KPCA trick in the context of Mahalanobis distance learning. Fourthly, unlike previous works which always apply brute force methods to select a kernel, we investigate two approaches which can be efficiently adopted to construct an appropriate kernel for a given dataset. Finally, numerical results on various real-world datasets are presented.

研究の動機と目的

• NCA、LMNN、DNEといった人気のある教師ありマハラノビス距離学習手法における非線形拡張の不足を解消すること。
• 新たな数式導出やコード再実装を回避する、ユーザーフレンドリーなカーネル化フレームワークの開発。
• ヒルベルト空間におけるマハラノビス距離学習のレプリサーザ定理を形式的に証明し、カーネル化手法の正当性を裏付けること。
• ブルートフォースな交差検証に頼らず、効率的でスケーラブルなカーネル構築法の提案。
• 実世界のデータセットにおいて、カーネル化されたマハラノビス距離学習手法が元の手法を上回ることを経験的に示すこと。

提案手法

• KPCAトリックフレームワークを導入し、元のアルゴリズムの数式形式を変更せずに、KPCAによる特徴空間への写像によってカーネル化を実現する。
• マハラノビス距離学習におけるカーネルトリックとKPCAトリックの両方を形式的に正当化する2つのレプリサーザ定理を証明し、分離可能なヒルベルト空間内での有効性を保証する。
• カーネル構築法として、カーネル整合性と基本カーネルの非加重結合の2つを提案し、計算コストの低減を図る。
• NCA、LMNN、DNEの3つの学習手法にKPCAトリックを適用し、再実装を伴わずに非線形マハラノビス距離学習を可能にする。
• 非加重カーネル構築における汎化安定性を分析し、過学習を回避するために、逐次的な基本カーネル追加戦略を採用する。
• 性能比較のベースラインとして交差検証を用いるが、計算効率を重視し、カーネル整合性と非加重カーネル手法を優先する。

実験結果

リサーチクエスチョン

• RQ1 KPCAトリックフレームワークを用いることで、数式の再導出やコード再実装なしに、既存のマハラノビス距離学習手法をカーネル化できるか？
• RQ2 形式的に証明されたレプリサーザ定理は、分離可能なヒルベルト空間内でのマハラノビス距離学習におけるカーネル化の正当性を裏付けるか？
• RQ3 カーネル整合性と非加重カーネル結合は、性能と実行時間の両面でブルートフォースな交差検証を上回るか？
• RQ4 マハラノビス距離学習手法のカーネル化は、多様な実世界データセットにおいて一貫した性能向上をもたらすか？
• RQ5 多数の基本カーネルを用いた非加重カーネルにおいても、過学習が発生しないか？

主な発見

• NCA、LMNN、DNEのカーネル化バージョンは、27のデータセットのうち18で元のバージョンを上回り、6つでは同等の性能を示し、残りの3つでのみ元のバージョンが優れていた。
• 非加重カーネル手法では、10〜14個の基本カーネルを追加した後、安定した汎化性能を示し、特徴空間の拡大にもかかわらず過学習が発生しなかった。
• 交差検証の実行時間は1データセットあたり数時間にのぼったが、非加重カーネルは数秒、カーネル整合性は数分で完了した。
• カーネル整合性は非加重カーネルをわずかに上回る性能を示したが、後者は特にNCA（目的の近傍指定が不要）において、性能と効率の良好なトレードオフを提供した。
• マルチモーダルなデータセットではカーネル整合性手法が不適切であることが判明した。同様のクラスの点が収束してしまう傾向があるため、このような状況では有効性が制限される。
• 理論的および経験的結果から、KPCAトリックとカーネル化が有効かつ正当であることが確認され、形式的なレプリサーザ定理が数学的根拠を提供している。