[論文レビュー] Positive Semidefinite Metric Learning with Boosting

Chunhua Shen, Junae Kim+2 more|ArXiv.org|Oct 13, 2009

Face and Expression Recognition参考文献 20被引用数 80

ひとこと要約

この論文では、ランク1の正定値行列を弱学習器としてモデル化することで、半正定値制約を効率的に満たすブースティングベースのアルゴリズムであるBoostMetricを提案する。この手法は半正定値プログラミングを用いずに、従来のLMNN やユークリッド距離と比較して、画像検索および分類ベンチマークで最先端の分類精度と高速な学習を達成する。

ABSTRACT

The learning of appropriate distance metrics is a critical problem in image classification and retrieval. In this work, we propose a boosting-based technique, termed \BoostMetric, for learning a Mahalanobis distance metric. One of the primary difficulties in learning such a metric is to ensure that the Mahalanobis matrix remains positive semidefinite. Semidefinite programming is sometimes used to enforce this constraint, but does not scale well. \BoostMetric is instead based on a key observation that any positive semidefinite matrix can be decomposed into a linear positive combination of trace-one rank-one matrices. \BoostMetric thus uses rank-one positive semidefinite matrices as weak learners within an efficient and scalable boosting-based learning process. The resulting method is easy to implement, does not require tuning, and can accommodate various types of constraints. Experiments on various datasets show that the proposed algorithm compares favorably to those state-of-the-art methods in terms of classification accuracy and running time.

研究の動機と目的

• スケーラブルで効率的な正定値行列を保つマハラノビス距離行列の学習という課題に対処する。
• 高次元データにおいて特に顕著な、半正定値プログラミングの計算的制限を克服する。
• ランク1成分への分解を通じて、自然に正定値性制約を満たすブースティングフレームワークを構築する。
• 複雑なチューニングや反復的ヘッセ行列計算を必要とせず、スケーラブルな距離行列学習を可能にする。
• LMNN やユークリッド距離といった最先端手法と比較して、画像分類および検索タスクでの性能を向上させる。

提案手法

• 任意の正定値行列がトレース1のランク1正定値行列の非負線形結合として表現可能であるという数学的性質を活用する。
• 従来の弱学習分類器の代わりに、ランク1正定値行列をブースティングフレームワーク内の弱学習器として使用する。
• 指数損失関数を用いて距離行列学習問題を定式化し、AdaBoostに類似した最適化手順を可能にする。
• 近接制約に基づいて、全体の指数損失を最小化する弱学習器を繰り返し組み合わせることで、距離行列を段階的に改善する。
• 最終的な距離行列が構成上正定値となるように保証し、プロジェクションや半正定値プログラミングの必要性を回避する。
• 同じクラスのペアが異なるクラスのペアよりも近くなるように制約を課したデータポイントのトリプレットを用いてモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 計算コストの高い半正定値プログラミングに依存せずに、ブースティングベースのアプローチが正定値マハラノビス距離行列を効果的に学習できるか。
• RQ2 ランク1正定値行列を弱学習器として用いることで、スケーラビリティが向上し、正定値性制約がどのように強化されるか。
• RQ3 提案手法は、分類精度と学習速度の両面で、既存の最先端の距離行列学習アルゴリズムを上回るか。
• RQ4 視覚認識タスクにおいて、BoostMetricの性能がトレーニング用トリプレット数やコードブックサイズにどの程度依存するか。
• RQ5 オンライン学習に対応できるように、このブースティングフレームワークを大規模データセット処理に適応可能か。

主な発見

• Caltech-101 Motorbikes vs. Airplanes データセットでは、BoostMetricがLMNN やユークリッド距離を上回る低い分類誤差率を達成し、3-NNを用いた際の誤差率はコードブックサイズ100で3.63% ± 0.68%、200で2.96% ± 0.59%であった。
• Faces vs. Background-Google 検索タスクでは、トップ5、10、15、20の検索結果において、BoostMetricが常に最高の精度を達成し、LMNN やユークリッド距離を上回った。
• BoostMetricのテスト誤差はトレーニング用トリプレット数の増加に伴い減少し、データ量の増加と性能向上の明確な相関関係が示された。
• コードブックサイズ100の場合、BoostMetricの誤差率3.63% ± 0.68%は、5分割交差検証で正則化パラメータを最適化した線形SVM（誤差率3.87% ± 0.69%）と同等またはわずかに優れていた。
• 8,631個のトレーニングトリプレットを用いたLMNNは4.7% ± 0.5%のテスト誤差を示したが、BoostMetricは一般化性能と効率性の面で優れていた。
• アルゴリズムは実装が簡単で、ハイパーパrameterのチューニングが不要であり、ヘッセ行列の計算や反復的プロジェクションステップが存在しないため、効率的なスケーリングが可能である。