[論文レビュー] Sparse Compositional Metric Learning

Yuan Shi, Aurélien Bellet+1 more|arXiv (Cornell University)|Apr 15, 2014

Domain Adaptation and Few-Shot Learning参考文献 29被引用数 19

ひとこと要約

本稿では、トレーニングデータから得られる局所的に判別性の高い低ランクの基本メトリクスのスパースな組み合わせとしてメトリクスを学習する統一的フレームワーク、スパース構成的メトリック学習（SCML）を提案する。スパース性を促進する正則化を用いることで、パラメータ数を削減し、効率的な最適化を可能にするとともに、新しいデータへの原理的で妥当な一般化を実現する。本手法は、グローバル、マルチタスク、ローカルメトリック学習の分野で、スケーラビリティと過学習に対するロバスト性を向上させつつ、最先端の性能を達成する。

ABSTRACT

We propose a new approach for metric learning by framing it as learning a sparse combination of locally discriminative metrics that are inexpensive to generate from the training data. This flexible framework allows us to naturally derive formulations for global, multi-task and local metric learning. The resulting algorithms have several advantages over existing methods in the literature: a much smaller number of parameters to be estimated and a principled way to generalize learned metrics to new testing data points. To analyze the approach theoretically, we derive a generalization bound that justifies the sparse combination. Empirically, we evaluate our algorithms on several datasets against state-of-the-art metric learning methods. The results are consistent with our theoretical findings and demonstrate the superiority of our approach in terms of classification performance and scalability.

研究の動機と目的

• 既存のメトリック学習手法の限界、すなわち過学習の傾向、次元数の増加に伴うスケーリングの悪化、新しいデータへの原理的で妥当な一般化の欠如を解消すること。
• グローバル、マルチタスク、ローカルメトリック学習を、単一のスパース構成的フレームワークで統合すること。
• 学習する基本メトリクスのサブセットのみを用いることで、推定すべきパラメータ数を削減し、計算効率と一般化性能を向上させること。
• 学習済みの変換関数を用いて、テスト時におけるインスタンス固有のメトリクス予測を可能にすること。

提案手法

• 局所的なデータ近傍において、フィッシャー判別分析などの手法を用いて、低ランクで局所的に判別性の高い基本メトリクスの集合を学習する。
• グローバルメトリック学習は、基本メトリクス集合上でのスパースな重みベクトルの学習として定式化され、l1正則化を用いてスパース性を促進する。
• マルチタスクメトリック学習は、グループスパース性を用いて実現され、すべてのタスクが同じ活性化された基本メトリクスのサブセットを共有するが、タスク固有の重みを持つ。
• ローカルメトリック学習では、任意の入力xを、そのローカルメトリクスを定義するスパースな重みベクトルに写像する変換関数T(x)を学習する。これにより、インスタンス固有のメトリクスが可能になる。
• 最適化は、陽な正定値行列への射影を回避するため、プロキシタル演算子を用いた確率的部分勾配降下法で実行される。
• 同じスパース重み関数を用いて、学習済みの基本要素を組み合わせることで、新しいデータポイントへの一般化をフレームワークがサポートする。

実験結果

リサーチクエスチョン

• RQ1 局所的に学習された基本メトリクスのスパースな組み合わせは、分類精度とスケーラビリティの面で、密なグローバルなマハラノビスメトリクスを上回ることができるか？
• RQ2 単一の最適化スキーム内で、グローバル、マルチタスク、ローカルメトリック学習を効果的に統合できる統一フレームワークは構築可能か？
• RQ3 過学習を避けながら、テストデータにうまく一般化できる、インスタンス固有のメトリクスを計算する原理的で妥当な手法を開発可能か？
• RQ4 基本メトリクスの組み合わせにおけるスパース性は、大きな基本セットであっても、一般化性能の向上に寄与するか？
• RQ5 高次元データに対して、既存の最先端のメトリック学習アルゴリズムと比較して、本手法はどのようにスケーリングするか？

主な発見

• SCML-Localは、すべてのデータセットで平均順位1.2を達成し、SCML-Globalや他の最先端手法を顕著に上回った。
• BBCデータセットでは、SCML-Localは約8分で学習完了—MM-LMNNの5倍速く、PLMLの15倍速く、過学習を回避した。
• VehicleやVowelのような小規模データセットでは、SCML-Localはより少ないパラメータを活用したが、GLMLは制限的なガウス分布の仮定により、性能が著しく劣った。
• 選択された基本要素の数は、基本セットのサイズに対して劣加速度的に増加し、テスト誤差はより大きな基本セットでも継続的に低下した。これは、一般化境界の妥当性を支持する。
• 可視化結果から、学習済みのメトリクスは滑らかに変化しており、単なる滑らかさではなく、判別性の高い情報によって駆動されていることが示された。これにより、意思決定境界付近でのロバスト性が向上した。
• ベンチマークデータセットにおいて、SCML-LocalはカーネルSVMと同等の精度を達成し、強力な一般化能力を示した。