[論文レビュー] Semi-supervised Kernel Metric Learning Using Relative Comparisons

Ehsan Amid, Aristides Gionis+1 more|arXiv (Cornell University)|Dec 1, 2016

Face and Expression Recognition参考文献 22被引用数 8

ひとこと要約

本論文は、相対的距離比較（具体的には、3つのうち最も類似度が低いアイテムを特定するトリプレットベースのアウリヤー選択）を用いて、対数行列式Bregman散発を介してカーネル行列を学習する、効率的な半教師付きカーネルマトリクス学習アルゴリズムを提案する。本手法は、必須リンク／不可リンク制約や他の相対的比較手法と比較して、制約が疎であったり曖昧であったりする状況でも、クラスタリング品質を向上させる。

ABSTRACT

We consider the problem of metric learning subject to a set of constraints on relative-distance comparisons between the data items. Such constraints are meant to reflect side-information that is not expressed directly in the feature vectors of the data items. The relative-distance constraints used in this work are particularly effective in expressing structures at finer level of detail than must-link (ML) and cannot-link (CL) constraints, which are most commonly used for semi-supervised clustering. Relative-distance constraints are thus useful in settings where providing an ML or a CL constraint is difficult because the granularity of the true clustering is unknown. Our main contribution is an efficient algorithm for learning a kernel matrix using the log determinant divergence --- a variant of the Bregman divergence --- subject to a set of relative-distance constraints. The learned kernel matrix can then be employed by many different kernel methods in a wide range of applications. In our experimental evaluations, we consider a semi-supervised clustering setting and show empirically that kernels found by our algorithm yield clusterings of higher quality than existing approaches that either use ML/CL constraints or a different means to implement the supervision using relative comparisons.

研究の動機と目的

• 必須リンクおよび不可リンク制約が細分化されたデータ構造を十分に捉えられないという限界を、相対的距離比較を用いて解消すること。
• 明示的なアウリヤーのラベルと、3つのアイテムが概ね等距離であることを示す「知らない」反応を組み合わせたカーネル行列の学習に向けた効率的アルゴリズムの開発。
• 従来のペairワイズ制約よりも洗練された人間によるフィードバックを活用することで、半教師付きクラスタリングにおけるマトリクス学習のパフォーマンスを向上させること。
• 「知らない」回答から得られる等距離制約を組み込むことで、ラベル付きデータが限られる状況でもマトリクス品質が向上することを示すこと。

提案手法

• 正定値性と滑らかな更新を保証するため、対数行列式Bregman散発を用いてカーネル行列の最適化としてマトリクス学習を定式化する。
• 相対的距離制約を、3つのデータポイントの中から最も類似度が低いアイテム（アウリヤー）を特定するトリプレット比較としてモデル化する。
• 「知らない」反応は等距離制約として扱い、3つのアイテムが概ね等距離にあると仮定する。
• 反復的Bregman射影アルゴリズムを用いてカーネル行列を更新し、行列の逆行列とコレスキー分解を用いた閉形式解を適用することで、効率性を確保する。
• カーネル更新のための双対最適化を用い、ラグランジュ乗数を変数とする対数行列式の最大化問題を解く。
• ランク2の更新に対して、再帰的コレスキー分解技術を適用し、スケーラビリティを向上させる。

実験結果

リサーチクエスチョン

• RQ1 トリプレットベースの相対的比較（「知らない」反応を含む）は、従来の必須リンクおよび不可リンク制約よりも、より優れたマトリクス学習を可能にするか？
• RQ2 「知らない」回答から得られる等距離の手がかり（等距離制約）を組み込むことで、半教師付きクラスタリングにおける学習済みカーネルの品質はどのように向上するか？
• RQ3 対数行列式Bregman散発を用いた本手法のカーネル学習アルゴリズムは、従来の手法と比較して、細分化されたデータ構造を捉える点でより効果的かつ効率的であるか？
• RQ4 本手法は、大量のラベル付き制約に依存する必要をどれほど低減させつつ、クラスタリングパフォーマンスを維持または向上させることができるか？

主な発見

• 提案手法は、複数のベンチマークデータセットにおいて、必須リンクおよび不可リンク制約を用いたベースライン手法と比較して、より高いクラスタリング品質を達成した。
• 「知らない」反応を等距離制約として組み込むことで、特にデータが少ない状況（低データレジーム）において性能が顕著に向上した。
• 閉形式更新とランク2の更新に向けた再帰的コレスキー分解の応用により、アルゴリズムは優れた効率性とスケーラビリティを示した。
• 対数行列式Bregman散発の使用により、最適化の全過程で学習済みカーネル行列が正定値かつ良好に条件付けられたままであった。
• 実験的結果から、アウリヤー選択を伴う相対的比較は、特にマルチスケールのデータ関係を捉える際に、ペairワイズ制約よりもより正確なマトリクスを生成することが明らかになった。