[論文レビュー] Constraint Selection in Metric Learning

Hoël Le Capitaine|arXiv (Cornell University)|Dec 14, 2016

Machine Learning and Algorithms参考文献 18被引用数 4

ひとこと要約

本稿では、反復的メトリック学習における困難に分類される制約を優先することで、精度とスケーラビリティの両方を向上させる、損失に依存する重み付き制約選択手法を提案する。現在の分類の難易度に基づいて動的に重みを割り当てることで、大規模データセット（例：Forest Cover Type）において、最先端の手法を上回る時間計算量と分類性能を達成する。

ABSTRACT

A number of machine learning algorithms are using a metric, or a distance, in order to compare individuals. The Euclidean distance is usually employed, but it may be more efficient to learn a parametric distance such as Mahalanobis metric. Learning such a metric is a hot topic since more than ten years now, and a number of methods have been proposed to efficiently learn it. However, the nature of the problem makes it quite difficult for large scale data, as well as data for which classes overlap. This paper presents a simple way of improving accuracy and scalability of any iterative metric learning algorithm, where constraints are obtained prior to the algorithm. The proposed approach relies on a loss-dependent weighted selection of constraints that are used for learning the metric. Using the corresponding dedicated loss function, the method clearly allows to obtain better results than state-of-the-art methods, both in terms of accuracy and time complexity. Some experimental results on real world, and potentially large, datasets are demonstrating the effectiveness of our proposition.

研究の動機と目的

• 大規模かつ重複クラスを有するデータセットにおける反復的メトリック学習のスケーラビリティと精度の制限を解決すること。
• ランダムまたは均一な選択ではなく、制約の難易度に基づいて知的に制約を選択することで、既存のメトリック学習アルゴリズムを改善すること。
• 情報量が多く、分類が難しい例に注目することで、反復的メトリック学習における計算コストを削減すること。
• 例えば Forest Cover Type データセットのような、高容量かつ高次元の実世界データセットにおいて、より優れた性能を達成すること。

提案手法

• 本手法は、現在の分類の難易度に基づいて重みを割り当てる重み付き選択メカニズムを導入する。この重みは、専用の損失関数を用いて算出される。
• 損失関数は、現在のメトリック下での与えられた制約の分類の難易度を評価し、損失が大きいほど分類が難しいと判断される。
• 損失が大きい制約は最適化の過程で高い重みが与えられ、メトリックが最も情報量の多い例から学習するよう保証される。
• 本手法は任意の反復的メトリック学習アルゴリズムと互換性があり、すべての制約が事前に計算されたバッチ設定で動作する。
• 重み付け方式はゼロの重みを避けるため、訓練中すべての制約が潜在的に有用なまま保たれる。
• ランダムまたは均一な選択ではなく、損失に依存する戦略を採用することで、収束性と性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 大規模データセットにおけるメトリック学習の制約選択をどのように改善すれば、精度とスケーラビリティの両方を向上させられるか？
• RQ2 損失に基づく制約の重み付けが、反復的メトリック学習アルゴリズムの収束性と性能に与える影響は何か？
• RQ3 動的で難易度に応じた制約選択戦略は、ランダムまたは均一な制約選択に比べて、時間計算量と分類精度の面で優れているか？
• RQ4 本手法は、データ量と次元数の増加に伴って、既存のアプローチと比較してどのようにスケーリングするか？
• RQ5 制約の重み付けは、容易な例と困難な例の間での学習の集中度にどのような影響を与えるか？

主な発見

• 本手法は、Mei et al. よりも最大20,000倍速く、250,000件の観測データにおいて、訓練時間を顕著に短縮した。
• Forest Cover Type データセットでは、比較対象のすべての手法の中で最高の精度を達成した。1000個の制約を用いた設定では、Liu & Vemuri の21,549.55秒から2,017.38秒にまで短縮された。
• 損失に依存する重み付け方式により、制約の重みはベル型分布を示し、大多数の制約が中程度の重み（約0.0016〜0.0017）を受けるようになった。これは、困難な例に的確に注目していることを示している。
• 本手法は、制約数を減らしても高い性能を維持した。これは、難易度に基づく選択的サンプリングが、ランダムまたは均一な選択よりも効果的であることを示している。
• 本手法は大規模データセットにおいてもスケーラブルであり、実行時間は2乗以下に増加する一方、Mei et al. や Liu & Vemuri のような手法は2乗に比例して増加するため、本手法は優れたスケーリング特性を示した。
• 制約の重みの分布は、初期は一様から、反復を重ねるごとに中心値の周囲に集中するよう変化した。これは、アルゴリズムが反復の過程で困難な例を的確に特定し、優先的に処理していることを確認している。