[論文レビュー] Kernel functions based on triplet comparisons

Matthäus Kleindeßner, Ulrike von Luxburg|arXiv (Cornell University)|Jul 28, 2016

Face and Expression Recognition被引用数 6

ひとこと要約

本稿では、三つ組比較に基づく2つの決定的でパラメータフリーのカーネル関数を提案し、相対的類似度評価のみが利用可能なデータに対して、いかなるカーネル法でも使用可能にする。順序埋め込みとは異なり、三つ組の順序一貫性に基づく高次元類似度スコアリングにより動作するこれらのカーネルは、競争力あるクラスタリング性能を維持しながら、特にランドマークベースの設定において顕著な高速化を実現する。

ABSTRACT

Given only information in the form of similarity triplets "Object A is more similar to object B than to object C" about a data set, we propose two ways of defining a kernel function on the data set. While previous approaches construct a low-dimensional Euclidean embedding of the data set that reflects the given similarity triplets, we aim at defining kernel functions that correspond to high-dimensional embeddings. These kernel functions can subsequently be used to apply any kernel method to the data set.

研究の動機と目的

• 相対的類似度三つ組（例：AはBよりCよりも類縁）のみが利用可能な機械学習の文脈において、順序埋め込みの汎用的でカーネルベースの代替手法を開発すること。
• 相対的類似度三つ組（例：AはBよりCよりも類縁）のみが利用可能なデータに対して、いかなるカーネル法でも使用可能になるようにすること。
• 特にランドマークベースの設定において、従来の順序埋め込み手法よりも高速かつスケーラブルな手法を設計すること。
• 三つ組の順序一貫性に基づくカーネル関数が、意味的で構造を保全する類似度スコアを生成することを示すこと。

提案手法

• 最初のカーネル $k_1$ は、三つ組比較に基づいて他のすべてのオブジェクトに対する各オブジェクトの順位付けの間に、ケンダールのtau相関を測定することで、2つのオブジェクト間の類似度を計算する。
• 2番目のカーネル $k_2$ は、2つのオブジェクトが第3のオブジェクトに対して類縁として同様に順位付けされる共起する三つ組の正規化された数を用い、相対的近接性のパターンを捉える。
• 両カーネルは、中間の低次元埋め込みを必要とせず、与えられた三つ組の集合のみを用いて直接データセット上で定義される。
• カーネルは決定的かつパラメータフリーであり、順序埋め込み手法が直面する数値最適化の課題を回避する。
• 大規模データセットへのスケーラビリティを実現するためにランドマークベースの設計を採用し、部分集合を用いてカーネル値を効率的に計算する。
• 類縁なオブジェクトは一貫した三つ組のパターンを生成するという事実を活用し、順位付けと共起類似度による定量的評価を実現する。

実験結果

リサーチクエスチョン

• RQ1 順序埋め込みに依存せずに、三つ組比較から直接カーネル関数を構築可能か？
• RQ2 このようなカーネル関数は、クラスタリングなどの下流のカーネル法に適した、元のデータ構造を十分に保全できるか？
• RQ3 最先端の順序埋め込みアルゴリズムと比較して、速度と精度の面でどの程度優れるか？
• RQ4 三つ組の数が限られている状況でも、ランドマークベースの設計によりカーネル手法は効果的にスケーリング可能か？

主な発見

• 提案されたカーネル関数 $k_1$ と $k_2$ は、クラスタリング純度による検証を通じて、真のデータ構造を反映する意味のある類似度スコアを生成する。
• 10,000枚のMNISTデジタル画像に対して $k_1$ を計算したところ、わずか100秒で完了した。一方、最も高速な順序埋め込みアルゴリズムでも2,000秒を要したため、顕著な高速化が実現された。
• 20,000枚の画像では $k_1$ の計算に900秒を要したが、GNMDS埋め込みは6,000秒以上を要した。これにより、スケーラビリティの優位性が明確になった。
• ランドマークベースの設定において、カーネル手法は、三つ組あたりのデータ数が少ない状況でも、順序埋め込みと同等のクラスタリング性能を達成した。
• カーネル関数は決定的かつパラメータフリーであり、最適化ベースの埋め込み手法が直面する不安定性やチューニングの負担を回避する。
• 一般により多くの三つ組を必要とするが、ランドマーク設計のおかげで、データ効率の面でも埋め込みベースの手法と競合可能な性能を発揮できる。