[論文レビュー] Safe Triplet Screening for Distance Metric Learning

Tomoki Yoshida, Ichiro Takeuchi+1 more|arXiv (Cornell University)|Feb 12, 2018

Machine Learning and Algorithms参考文献 5被引用数 4

ひとこと要約

本稿では、最適性を損なわずに最適化から不要なトリプレットを同定・削除できる、安全なトリプレットスクリーニングを距離行列学習に提案する。半正定値制約の下で6つの球体に基づく境界と3つのスクリーニング則を導出し、トレーニングを高速化する。ベンチマークデータセット上で最大10倍の高速化を達成し、双対性に基づくスクリーニングにより最適性が保証される。

ABSTRACT

We study safe screening for metric learning. Distance metric learning can optimize a metric over a set of triplets, each one of which is defined by a pair of same class instances and an instance in a different class. However, the number of possible triplets is quite huge even for a small dataset. Our safe triplet screening identifies triplets which can be safely removed from the optimization problem without losing the optimality. Compared with existing safe screening studies, triplet screening is particularly significant because of (1) the huge number of possible triplets, and (2) the semi-definite constraint in the optimization. We derive several variants of screening rules, and analyze their relationships. Numerical experiments on benchmark datasets demonstrate the effectiveness of safe triplet screening.

研究の動機と目的

• 小さなデータセットですでに指数的になるトリプレットの数に起因する距離行列学習の計算ボトル neck を解決すること。
• 学習された行列の最適性を損なわずに非必須なトリプレットを同定・削除できる安全なスクリーニング手法を開発すること。
• 行列行列の半正定値制約とトリプレットの組み合わせのスケールの大きさに起因するメトリック学習の独自の課題に対処すること。
• 正則化パスへのスクリーニングの拡張を図り、複数の正則化パラメータ $\lambda$ にわたる計算を効率化すること。
• タイトで計算的に実行可能である理論的境界と実用的スクリーニング則を提供すること。

提案手法

• 最適な行列行列 $\mathbf{M}^\star$ が存在しなければならない6つの球体領域を、双対性と最適性条件の3つの異なる手法に基づいて導出する。
• 半正定値制約の異なる定式化に適した3種類のスクリーニング則—RRPB、PGB、および範囲ベースの拡張—を提案する。
• 双対性に基づく境界を用いて、最適解が存在しなければならない領域を定義し、その領域外にある損失関数を持つトリプレットを安全に除外する。
• 勾配降下法の実行中に境界を動的に更新する動的スクリーニング戦略を導入し、最適化の進行に伴いスクリーニング効率を向上させる。
• 正則化パラメータ $\lambda$ の区間に対して事前にスクリーニングを実行できる範囲ベースの拡張を提案し、繰り返しのルール評価を削減し、正則化パス計算のスケーラビリティを向上させる。
• スクリーニングをアクティブセット法と組み合わせ、10回ごとにアクティブセットを更新し、処理対象となるトリプレットの有効数を削減する。

実験結果

リサーチクエスチョン

• RQ1 半正定値制約の下で、指数的に増加するトリプレットの数を考慮した距離行列学習に対して、安全なスクリーニング則を導出できるか？
• RQ2 最適な行列行列 $\mathbf{M}^\star$ を囲むための異なる境界の導出アプローチは、タイトさとスクリーニング性能においてどのように比較されるか？
• RQ3 スクリーニング則を正則化パスに拡張することで、複数の $\lambda$ 値にわたる計算を加速できるか？
• RQ4 実世界の距離行列学習タスクにおけるトレーニング時間と収束速度に、安全なトリプレットスクリーニングが及ぼす実用的影響は何か？
• RQ5 スクリーニングをアクティブセット法と組み合わせることで、最適化全体の効率性にどのような影響を与えるか？

主な発見

• 安全なトリプレットスクリーニングは、最適なメトリックが保持される保証のもとで、最適化中の処理対象となるトリプレット数を削減する。
• アクティブセット法と組み合わせた場合、phishing、a9a、cifar10といったベンチマークデータセットで最大10倍の高速化を達成する。
• PGB則に基づく動的スクリーニングは、勾配降下の反復回数が増加する後期段階において、RRPBよりも高いスクリーニング率を達成する。
• 範囲ベースの拡張により、$\lambda$ の区間全体にわたる効率的なスクリーニングが可能となり、繰り返しのルール評価が削減され、正則化パス計算のスケーラビリティが向上する。
• segmentデータセットでは、範囲ベース手法が特に小さな $\lambda$ に対して高いスクリーニング率を達成し、精度は $10^{-6}$ を維持する。
• 実験結果から、RRPB+PGBは追加計算を伴うものの、スクリーニング効率の高さから、RRPB単体よりもCPU時間の点で優れていることが示された。