[論文レビュー] Robust Metric Learning by Smooth Optimization

Kaizhu Huang, Rong Jin+2 more|arXiv (Cornell University)|Mar 15, 2012

Sparse and Compressive Sensing Techniques参考文献 15被引用数 18

ひとこと要約

本稿では、ノイズのあるペairワイズまたはトリプレット制約に対処するため、worst-case組合せ最適化タスクとして問題を定式化し、滑らかな最適化による凸計画問題に変換する、ロバストなメトリック学習フレームワークを提案する。この手法は、O(1/√ε)の収束速度を達成し、SOTA手法と比較してUCIデータセットにおいて特にノイズのある補助情報下で優れた性能を示す。

ABSTRACT

Most existing distance metric learning methods assume perfect side information that is usually given in pairwise or triplet constraints. Instead, in many real-world applications, the constraints are derived from side information, such as users' implicit feedbacks and citations among articles. As a result, these constraints are usually noisy and contain many mistakes. In this work, we aim to learn a distance metric from noisy constraints by robust optimization in a worst-case scenario, to which we refer as robust metric learning. We formulate the learning task initially as a combinatorial optimization problem, and show that it can be elegantly transformed to a convex programming problem. We present an efficient learning algorithm based on smooth optimization [7]. It has a worst-case convergence rate of O(1/{\surd}{\varepsilon}) for smooth optimization problems, where {\varepsilon} is the desired error of the approximate solution. Finally, our empirical study with UCI data sets demonstrate the effectiveness of the proposed method in comparison to state-of-the-art methods.

研究の動機と目的

• ユーザーのフィードバックや引用情報などの補助情報が本質的にノイズが多く誤りが生じやすい状況において、正確な距離メトリックを学習する課題に対処すること。
• worst-case最適化フレームワークを用いて不確実性をモデル化することで、制約のノイズに強く耐性を持つメトリック学習手法を開発すること。
• 本質的に組合せ的なロバストなメトリック学習問題を、解法が容易で効率的な凸計画問題に変換すること。
• 滑らかな最適化技術を活用し、ノイズの多い現実世界の設定でも高速な収束と信頼性の高い性能を達成すること。

提案手法

• 誤ったペアワイズまたはトリプレット制約に耐性を持つよう、worst-case制約ノイズ下での組合せ最適化問題としてメトリック学習を定式化する。
• 数学的緩和と再定式化により、非凸で組合せ的な問題を凸計画問題に変換する。
• 得られた凸問題を滑らかな最適化技術で解き、ε-精度解に対してworst-case収束速度O(1/√ε)を達成する。
• 目的関数の滑らかでない成分を扱うためにスムージング近似を用い、勾配ベース最適化を効率的に行う。
• 収束保証を維持しながらノイズのある制約集合に適応する反復的アルゴリズムを設計する。
• スケーラブルな学習パイプラインに滑らかな最適化フレームワークを統合し、不完全な補助情報を持つ現実世界のデータセットに適したものとする。

実験結果

リサーチクエスチョン

• RQ1 実際の応用でよく見られるノイズや誤ったペアワイズおよびトリプレット制約に対して、メトリック学習をどのようにしてロバストにすればよいか？
• RQ2 完璧な制約を仮定しないで、補助情報の不確実性をworst-case最適化フレームワークで効果的にモデル化できるか？
• RQ3 滑らかな最適化に基づくアプローチの、ロバストなメトリック学習における理論的収束挙動はいかなるものか？
• RQ4 ノイズのある条件下で、提案手法は既存のSOTAメトリック学習アルゴリズムと比較してどのように性能を発揮するか？
• RQ5 組合せ的最適化から凸計画への変換は、ロバスト性と計算効率の両方を保持できるか？

主な発見

• 提案されたロバストなメトリック学習手法は、worst-case収束速度O(1/√ε)を達成し、ε-精度解への高速かつ信頼性の高い収束を保証する。
• ノイズのある制約設定下で、複数のUCIベンチマークデータセットにおいて、SOTAメトリック学習アルゴリズムを顕著に上回る性能を示す。
• 組合せ問題から凸計画への変換により、制約に高いノイズが存在しても、効率的かつ安定した最適化が可能になる。
• 実験結果から、制約に著しい割合の誤りが含まれても、本手法が高い精度と一般化性能を維持することが示された。
• 滑らかな最適化フレームワークにより、不完全な補助情報を持つ現実世界のデータセットへのスケーラブルかつ実用的な展開が可能になった。