[論文レビュー] A Probabilistic Theory of Supervised Similarity Learning for Pointwise ROC Curve Optimization

Robin Vogel, Aurélien Bellet+1 more|arXiv (Cornell University)|Jul 18, 2018

Imbalanced Data Classification Techniques参考文献 39被引用数 5

ひとこと要約

本稿は、固定された偽陽性率下での真正陽性率を最大化することで、点単位のROC曲線を最適化するための確率的枠組みを提案する。U統計量を用いて非i.i.d.なペアワイズ類似度評価の依存構造を捉え、理論的保証を維持したまま計算コストを削減するためのサンプリングに基づく近似を用いてスケーラブルな性能を実現する。この枠組みにより、分布に関する仮定なしに普遍的かつ高速な学習レートを確立する。

ABSTRACT

The performance of many machine learning techniques depends on the choice of an appropriate similarity or distance measure on the input space. Similarity learning (or metric learning) aims at building such a measure from training data so that observations with the same (resp. different) label are as close (resp. far) as possible. In this paper, similarity learning is investigated from the perspective of pairwise bipartite ranking, where the goal is to rank the elements of a database by decreasing order of the probability that they share the same label with some query data point, based on the similarity scores. A natural performance criterion in this setting is pointwise ROC optimization: maximize the true positive rate under a fixed false positive rate. We study this novel perspective on similarity learning through a rigorous probabilistic framework. The empirical version of the problem gives rise to a constrained optimization formulation involving U-statistics, for which we derive universal learning rates as well as faster rates under a noise assumption on the data distribution. We also address the large-scale setting by analyzing the effect of sampling-based approximations. Our theoretical results are supported by illustrative numerical experiments.

研究の動機と目的

• 既存の類似度学習手法がAUCのようなグローバル指標を最適化するが、実世界の応用における運用制約を反映しないという限界に対処すること。
• 類似度学習を、固定された偽陽性率下での真正陽性率を最大化することを目的とした、点単位のROC最適化に焦点を当てたペアワイズ二値分類問題として形式化すること。
• ペアワイズ類似度評価の非i.i.d.性質に起因するU統計量を含む、経験的点単位ROC最適化問題の一般化限界を導出すること。
• サンプリングに基づく近似が、数十億の負例ペアを含む大規模な設定における学習レートに与える影響を分析すること。
• 理論的予想を実証的に検証し、サンプリングが学習レートを保持し、MNISTのような大規模データセットにおけるスケーラブルな学習を可能にすること。

提案手法

• 本フレームワークは、固定された偽陽性率下での真正陽性率を最大化することを目的とした制約付き最適化問題として類似度学習を定式化し、データ内のペアワイズ依存関係を捉えるためにU統計量を用いる。
• 理論的分析は、Uプロセスの濃度不等式に依拠し、分布に関する仮定なしに $O(1/\sqrt{n})$ の普遍的学習レートを導出する。
• 類似度スコアの条件付き分位数に関するマージン条件を含む低ノイズ仮定の下で、$O(n^{-(2+a)/4})$ のより速い学習レートが得られる。ここで $a \in (0,1)$ である。
• スケーラビリティを確保するため、$O(n)$ 個の負例ペアをサンプリングすることで不完全なU統計量を用いて負のリスクを近似し、普遍的学習レートを維持する。
• 2つのサンプリング戦略（一様サンプリングとデータ分布の性質に基づくより情報に基づいた戦略）を分析し、その精度について理論的および実証的比較を行う。
• Mahalanobis距離学習（MMC）を用いてMNISTデータセット上で検証した結果、サブサンプリングにより学習に必要なペア数を数十億から数十万に削減しながら、テスト性能を維持できた。

実験結果

リサーチクエスチョン

• RQ1 AUCのようなグローバル指標ではなく、点単位のROC最適化を通じて類似度学習を厳密に研究できる確率的枠組みを開発できるか？
• RQ2 経験的点単位ROC最適化問題に対して、i.i.d.平均ではなくU統計量を含む目的関数を考慮した一般化保証はどのように導出可能か？
• RQ3 この制約付き類似度学習設定において、より速い学習レートを達成するための分布的仮定は何か？
• RQ4 大規模な設定において、負のリスクのサンプリングに基づく近似は、一般化性能と学習レートをどの程度保持できるか？
• RQ5 MNISTのような大規模データセットにおいて、提案手法は著しく短縮された学習時間で高いテスト性能を維持できるか？

主な発見

• 本稿は、Uプロセスの濃度不等式を用いて、データ分布に関する仮定なしに $O(1/\sqrt{n})$ の普遍的学習レートを確立する。
• 類似度スコアの条件付き分位数に関するマージン条件を含む低ノイズ仮定の下で、$a \in (0,1)$ の条件下で $O(n^{-(2+a)/4})$ のより速い学習レートが達成される。
• 数値実験により、実際の応用でもより速いレートが観測されることを確認した。$a$ が増加するにつれて、経験的一般化速度が低下し、収束性が向上することが示された。
• $O(n)$ 個の負例ペアを用いたサンプリングに基づく近似は、普遍的 $O(1/\sqrt{n})$ 学習レートを維持し、大規模データセットにおけるスケーラブルな学習を可能にする。
• MNISTデータセット（$n=60,000$）において、ほぼ20億ペアにのぼる負例ペアをほぼ0.15n（40万ペア）にまで削減したが、テストセットでの性能損失は最小限に抑えられ、学習時間は著しく短縮された。
• 提案手法は、さまざまなサンプリング予算において高いテスト性能を維持しており、統計的保証を損なわず、実用的なスケーラビリティを示している。