[論文レビュー] Similarity-based Learning via Data Driven Embeddings

Purushottam Kar, Prateek Jain|arXiv (Cornell University)|Dec 22, 2011

Multimodal Machine Learning Applications参考文献 24被引用数 22

ひとこと要約

本稿では、埋め込みのための多様なランドマーク点の選択と(不)類似度関数の良さ基準を同時に最適化することで、類似度ベースの分類器をデータ駆動で学習するフレームワークを提案する。FTUNEは、小規模なランドマーク集合において、既存手法よりも最大5%の精度向上を達成し、強力な一般化保証と非PSDカーネルへの適用可能性を有する。これはランドマーク付き埋め込みとリプシッツ損失最適化を用いることで実現される。

ABSTRACT

We consider the problem of classification using similarity/distance functions over data. Specifically, we propose a framework for defining the goodness of a (dis)similarity function with respect to a given learning task and propose algorithms that have guaranteed generalization properties when working with such good functions. Our framework unifies and generalizes the frameworks proposed by [Balcan-Blum ICML 2006] and [Wang et al ICML 2007]. An attractive feature of our framework is its adaptability to data - we do not promote a fixed notion of goodness but rather let data dictate it. We show, by giving theoretical guarantees that the goodness criterion best suited to a problem can itself be learned which makes our approach applicable to a variety of domains and problems. We propose a landmarking-based approach to obtaining a classifier from such learned goodness criteria. We then provide a novel diversity based heuristic to perform task-driven selection of landmark points instead of random selection. We demonstrate the effectiveness of our goodness criteria learning method as well as the landmark selection heuristic on a variety of similarity-based learning datasets and benchmark UCI datasets on which our method consistently outperforms existing approaches by a significant margin.

研究の動機と目的

• 非PSDカーネル学習における(不)類似度関数の良さ基準が固定で事前に定義されているという制限を解消すること。
• 先行研究[1]および[2]を一般化する統一フレームワークを構築し、データから最適な良さ基準を学習すること。
• ランダムサンプリングに代わる新しい多様性に基づくヒューリスティクスを導入することで、ランドマーク選択の効率性と性能を向上させること。
• リプシッツ損失関数を用いた一般化保証をランドマーク付き埋め込みに提供し、SVMやロジスティック回帰への適用を可能にすること。
• ベンチマーク類似度学習およびUCIデータセット上で実験的に検証し、一貫した優位性を示すこと。

提案手法

• 固定基準を仮定するのではなく、データから直接(不)類似度関数の良さ基準を学習する統一フレームワークを提案する。
• 与えられた分類タスクに最適な良さ基準を学習するための均一収束バウンドを導入し、理論的保証を可能にする。
• 選択されたランドマークを用いてデータポイントを低次元ユークリッド空間に射影するランドマークベースの埋め込みアプローチを採用する。
• 冗長性を低減し、埋め込み品質を向上させるために、情報量の多いランドマークを効果的に選択する多様性に基づくヒューリスティクスを開発する。
• 任意のリプシッツ損失関数を良さ基準に組み込み、C-SVM やロジスティック回帰などの標準的手法との互換性を確保する。
• バリデーションに基づく転送関数選択（FTUNE）を用いて、埋め込み変換を適応的にチューニングし、一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 データから(不)類似度関数の良さ基準を学習することで、分類性能を向上させることができるか？
• RQ2 類似度ベースの学習において、ランダムサンプリングよりも効果的なランドマーク選択は可能か？
• RQ3 非PSD類似度関数を用いる場合、ランドマーク付き埋め込みに対して一般化保証を確立できるか？
• RQ4 実世界の分類タスクにおいて、データ駆動型の良さ基準は固定基準を上回る性能を示すか？
• RQ5 特に小規模なランドマーク集合において、多様性に基づくランドマーク選択はどの程度性能を向上させるか？

主な発見

• FTUNE-S および FTUNE-M の手法は、BBS や DBOOST と比較して、小規模なランドマーク集合（例：30〜50ランドマーク）において最大5%の高い精度を達成する。
• UCIベンチマークデータセットでは、FTUNE-S は全ランドマークサイズで BBS や DBOOST を一貫して上回り、ランドマーク数が増加するに従い、精度曲線において顕著な優位性を示す。
• 大規模データセット（平均サイズ13,200）では、FTUNE はベースラインを著しく上回るが、小規模データセット（平均サイズ660）では、過学習を緩和するため DSELECT を活用することで効果を発揮する。
• ランドマーク数が限られる状況では、多様性に基づくランドマーク選択がランダム選択よりも性能を向上させる。
• 本研究で提案するフレームワークは、[1]および[2]の先行研究を一般化し、良さ基準自体を学習可能としているため、分類タスクに適切に一致する。
• 実験結果から、1つの転送関数を用いる FTUNE-S は、多クラス転送（FTUNE-M）と同等またはそれ以上の性能を示し、ほとんどの場合で後者の追加的利益は顕著でないことが判明した。