[論文レビュー] Generalization Bounds for Metric and Similarity Learning

Qiong Cao, Zheng-Chu Guo+1 more|arXiv (Cornell University)|Jul 23, 2012

Face and Expression Recognition参考文献 21被引用数 20

ひとこと要約

本稿は、特定の行列ノルムに関連する「i.i.d.標本ブロックの和」におけるラデマッハ複雑度推定に帰着することで、メトリック学習および類似度学習のための新規一般化境界を確立している。$L^1$-ノルム正則化は、高次元設定において特に顕著に、フロベニウスノルムよりもはるかにタイトな境界をもたらすことが示され、スパースメトリック学習の理論的理解を前進させた。

ABSTRACT

Recently, metric learning and similarity learning have attracted a large amount of interest. Many models and optimisation algorithms have been proposed. However, there is relatively little work on the generalization analysis of such methods. In this paper, we derive novel generalization bounds of metric and similarity learning. In particular, we first show that the generalization analysis reduces to the estimation of the Rademacher average over "sums-of-i.i.d." sample-blocks related to the specific matrix norm. Then, we derive generalization bounds for metric/similarity learning with different matrix-norm regularisers by estimating their specific Rademacher complexities. Our analysis indicates that sparse metric/similarity learning with $L^1$-norm regularisation could lead to significantly better bounds than those with Frobenius-norm regularisation. Our novel generalization analysis develops and refines the techniques of U-statistics and Rademacher complexity analysis.

研究の動機と目的

• 広範に使用されているにもかかわらず、メトリックおよび類似度学習における一般化解析の欠如に対処すること。
• 任意の行列ノルム正則化子を用いた一般化境界の統一的理論枠組みを構築すること。
• 特に高次元設定における$L^1$とフロベニウスノルムの正則化戦略の有効性を比較すること。
• ラデマッハ複雑度およびU統計量の技術をメトリック／類似度学習の文脈に拡張すること。

提案手法

• 特定の行列ノルムに関連する「i.i.d.標本ブロックの和」におけるラデマッハ平均の推定に帰着することで、一般化解析を簡略化する。
• U統計量理論を活用した、メトリックおよび類似度学習に特化した新規ラデマッハ複雑度フレームワークを導入する。
• フロベニウスノルム、$L^1$ノルム、混合$(2,1)$ノルム、トレースノルムを含む、さまざまな行列ノルムのラデマッハ複雑度を推定することで境界を導出する。
• 高度な濃度不等式および行列固有値ノルム解析を用いて、一般化誤差をバインドする。
• 二乗マハラノビス距離および双線形類似度関数の両方の設定にフレームワークを適用する。
• 固有値バインドを用いた共分散作用素の性質に基づき、最小二乗損失と固定バイアスの下で、強い仮定のもとで一貫性結果を確立する。

実験結果

リサーチクエスチョン

• RQ1 任意の行列正則化子を用いたメトリックおよび類似度学習の一般化境界を、形式的にどのように導出できるか？
• RQ2 $L^1$-ノルム正則化がフロベニウスノルムに対して一般化誤差の観点でどのような相対的利点を有するか？
• RQ3 ラデマッハ複雑度とU統計量を効果的に組み合わせることで、メトリック学習の一般化を分析できるか？
• RQ4 入力データの次元が、異なる正則化子のもとでの一般化境界のタイトさにどのように影響するか？
• RQ5 大規模な標本の極限において、学習されたメトリックまたは類似度行列の一貫性を保証する条件は何か？

主な発見

• スパースメトリックおよび類似度学習において、$L^1$-ノルム正則化は、特に高次元設定において、フロベニウスノルム正則化よりも顕著にタイトな一般化境界を達成する。
• $L^1$-正則化学習の一般化誤差境界は$O(\sqrt{\log d / n})$のスケーリングを示し、フロベニウス正則化の$O(\sqrt{d / n})$よりも優れている。
• 提案されたラデマッハ複雑度フレームワークは、混合$(2,1)$-ノルムやトレースノルムを含む一般行列ノルムを効果的に扱えるため、より広範な適用可能性を有する。
• 固定バイアス付きの最小二乗損失において、学習された行列$M_{\bf z}$の一貫性が確立され、フロベニウスノルムにおける収束速度は$O(n^{-1/4})$である。
• 解析により、$L^1$-正則化が学習されたメトリックにおけるスパarsityを促進することが明らかとなり、高次元データにおける一般化の向上と整合的である。
• 理論的結果は、U統計量の新規応用および高度な濃度不等式の適用により裏付けられており、既存のツールをメトリック学習へと拡張した。