[論文レビュー] Orthogonality-Promoting Distance Metric Learning: Convex Relaxation and Theoretical Analysis

Pengtao Xie, Wei Wu+2 more|arXiv (Cornell University)|Feb 16, 2018

Face and Expression Recognition被引用数 14

ひとこと要約

本論文は、非凸な直交性促進距離度量学習（DML）問題の凸緩和を提案し、グローバル最適解の達成を可能にする。凸正則化子（CSFN、CLDD、CVND）を導入することで、バランス性、コンパクト性、一般化性能が向上し、頻度の低いクラスにおけるAUCの向上と、非凸ベースラインより高速な学習が実証された。

ABSTRACT

Distance metric learning (DML), which learns a distance metric from labeled "similar" and "dissimilar" data pairs, is widely utilized. Recently, several works investigate orthogonality-promoting regularization (OPR), which encourages the projection vectors in DML to be close to being orthogonal, to achieve three effects: (1) high balancedness -- achieving comparable performance on both frequent and infrequent classes; (2) high compactness -- using a small number of projection vectors to achieve a "good" metric; (3) good generalizability -- alleviating overfitting to training data. While showing promising results, these approaches suffer three problems. First, they involve solving non-convex optimization problems where achieving the global optimal is NP-hard. Second, it lacks a theoretical understanding why OPR can lead to balancedness. Third, the current generalization error analysis of OPR is not directly on the regularizer. In this paper, we address these three issues by (1) seeking convex relaxations of the original nonconvex problems so that the global optimal is guaranteed to be achievable; (2) providing a formal analysis on OPR's capability of promoting balancedness; (3) providing a theoretical analysis that directly reveals the relationship between OPR and generalization performance. Experiments on various datasets demonstrate that our convex methods are more effective in promoting balancedness, compactness, and generalization, and are computationally more efficient, compared with the nonconvex methods.

研究の動機と目的

• 距離度量学習（DML）におけるバランス性の向上を目的とした直交性促進正則化（OPR）の理論的理解の不足に対処する。
• 非凸OPR定式化の計算的に困難な点を克服し、グローバル最適性を保証する凸緩和を構築する。
• OPRと一般化誤差の直接的な理論的関係を確立し、凸正則化子を小さくすることで一般化誤差の上界が厳しくなることを示す。
• 医療、テキスト、画像、センサリデータを含む多様なデータセットにおいて、バランス性、コンパクト性、一般化性能の向上を実証する。

提案手法

• スハッテン-pノルム、ノルム、対数行列式に基づく正則化子（CSFN、CLDD、CVND）を用いて、非凸OPR目的関数の凸緩和を構築する。
• 非凸な直交性制約の凸な代替関数を用いて、DML問題を凸最適化問題として定式化する。
• 初期化を1回でグローバル最適解に収束する効率的な近接勾配降下法を設計する。
• 凸正則化子の大きさと一般化誤差の上界との理論的枠組みを構築する。
• 実験による相関関係の妥当性を確認しながら、非凸対応物（SFN、LDD、VND）の代理として凸正則化子を用いる。
• 学習された度合いを複数のデータモダリティにわたるリtrievalタスクに適用し、頻度の高いクラスと低いクラスの両方で性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 DMLにおける非凸OPR問題の凸緩和は、グローバル最適性と計算効率を達成できるか？
• RQ2 直交性促進正則化は、頻度の高いクラスと低いクラスの両方において、どのように形式的にバランス性を向上させるか？
• RQ3 DMLにおけるOPRと一般化誤差の直接的な理論的関係は何か？
• RQ4 提案された凸正則化子は、非凸OPR手法の性能を効果的に近似できるか？
• RQ5 凸OPRフレームワークは、コンパクト性と一般化性能を向上させつつ、リtrieval性能を維持または向上できるか？

主な発見

• 凸正則化子（CSFN、CLDD、CVND）は非凸OPR目的関数を効果的に近似しており、正則化強度が高くなるにつれて非凸正則化子の値が一貫して減少する。
• 提案された凸DML手法は、非凸ベースラインと比較して、頻度の低いクラスにおけるAUCが顕著に向上し、バランス性の向上が示された。
• ハイパーパramータチューニングループの排除により、学習時間が非凸手法と比較して最大12倍短縮された。
• 一般化誤差の上界が凸正則化子と直接関連しており、これらの正則化子を最小化することで一般化誤差の上界が小さくなることが示された。
• 医療、テキスト、画像、センサリデータを含む多様なデータセットにおいて、より少ない投影ベクトルで使用しながら、リtrieval性能を維持または向上させた。
• AUCとバランススコアの標準誤差がベースラインより低く、実行間での性能の安定性が向上していることが示された。