[論文レビュー] Learning Low-Dimensional Metrics

Lalit Jain, Blake Mason+1 more|arXiv (Cornell University)|Sep 18, 2017

Face and Expression Recognition参考文献 1被引用数 11

ひとこと要約

本稿は、三項距離比較から低次元（低ランク）およびスパースなメトリクスを学習するための、最初のミニマックス最適な一般化誤差および標本複雑度の境界を確立する。核ノルム正則化が低ランクメトリクスに対して最適であることを示し、タイトな回復誤差境界を提供する。学習されたスパースまたは低ランクメトリクスは、対数要因を除いて一般の低ランクメトリクスを学習するのと同等に難しいことが示され、核ノルム正則化がより制限の少ない仮定であることを示唆する。

ABSTRACT

This paper investigates the theoretical foundations of metric learning, focused on three key questions that are not fully addressed in prior work: 1) we consider learning general low-dimensional (low-rank) metrics as well as sparse metrics; 2) we develop upper and lower (minimax)bounds on the generalization error; 3) we quantify the sample complexity of metric learning in terms of the dimension of the feature space and the dimension/rank of the underlying metric;4) we also bound the accuracy of the learned metric relative to the underlying true generative metric. All the results involve novel mathematical approaches to the metric learning problem, and lso shed new light on the special case of ordinal embedding (aka non-metric multidimensional scaling).

研究の動機と目的

• 比較的判断から低次元メトリクスを学習するための一般化誤差および標本複雑度の境界を構築すること。
• 上界と対数的要因を除いて一致するミニマックス下界を確立し、学習アルゴリズムの最適性を証明すること。
• 真の潜在メトリクスに対する学習されたメトリクスの正確さを定量化すること。これは先行研究でほとんど無視されていた問題である。
• スパースまたは低ランクメトリクスを学習することは、一般の低ランクメトリクスを学習するのと同等に難しいことを示し、核ノルム正則化が制限の少ない仮定であるため好ましいことを示唆すること。

提案手法

• 三項距離比較からの低ランクおよびスパースなメトリクス学習の一般化誤差に対する上界を導出するための新しい数学的枠組みを用いる。
• ラデマッハ複雑度および被覆数技術を適用し、特徴次元 $p$ およびメトリクスのランク $d$ の観点から標本複雑度を評価する。
• 上界と多対数的要因を除いて一致するミニマックス下界を導出し、学習アプローチの最適性を証明する。
• 学習されたメトリクス $\widehat{\mathbf{K}}$ と真の $\mathbf{K}^*$ 間の回復精度を定量化するモデル同定誤差境界を導入する。
• それぞれ低ランクおよびスパースな解を促進するために、核ノルムおよび $\ell_{1,2}$ グループラasso正則化を採用する。
• varying $p$ および $d$ の合成データにおけるシミュレーションを通じて理論的結果を検証し、相対的過剰リスクおよび回復誤差を測定する。

実験結果

リサーチクエスチョン

• RQ1 三項比較からの低ランクメトリクスの学習における標本複雑度は何か？ これは環境次元 $p$ およびランク $d$ とどのようにスケーリングされるか？
• RQ2 メトリクス学習アルゴリズムの一般化誤差は、内在次元 $d$ および特徴次元 $p$ にどのように依存するか？
• RQ3 上界と一致するミニマックス下界を低ランクおよびスパースなメトリクス学習に対して導出できるか？ これによりアルゴリズムの最適性が証明される。
• RQ4 ノイズのある三項比較から真の潜在メトリクス $\mathbf{K}^*$ をどの程度正確に回復できるか？ その回復誤差に成り立つ境界は何か？
• RQ5 スパースメトリクスを学習することは、低ランクメトリクスを学習するのと比べて著しく難しいのか、それとも統計的に同等の難易度か？

主な発見

• 低ランクメトリクスの学習における標本複雑度は $O(\gamma n \log n)$ に比例し、環境次元 $p$ に依存しない。これは従来の仮定よりも顕著に小さい。
• ミニマックス下界は上界と多対数的要因を除いて一致しており、提案された学習アルゴリズムが統計的に最適であることを証明する。
• スパースまたは低ランクメトリクスを学習することは、一般の低ランクメトリクスを学習するのと同等に統計的に困難であり、核ノルム正則化が実際には制限の少ない仮定であることを示唆する。
• シミュレーションでは、核ノルム正則化が密度の高い低ランクメトリクスに対して $\ell_{1,2}$ 正則化を上回り、スパースメトリクスに対しては $\ell_{1,2}$ 正則化が優れている。両手法とも制約なしのベースラインを著しく上回る。
• 相対的過剰リスクは、$d$ および $p$ に線形に比例するサンプル数で 0.1 未満に低下し、理論的標本複雑度境界を確認する。
• 回復誤差 $\|\widehat{\mathbf{K}} - \mathbf{K}^*\|_F^2 / \|\mathbf{K}^*\|_F^2$ は $O\left(\sqrt{\frac{\gamma n \log n}{|\mathcal{S}|}}\right)$ に有界であり、サンプルサイズの増加に伴い収束することが示される。