[論文レビュー] Scalable Learning of Non-Decomposable Objectives

Elad Eban, Mariano Schain+4 more|arXiv (Cornell University)|Aug 16, 2016

Advanced Image and Video Retrieval Techniques参考文献 8被引用数 33

ひとこと要約

本稿では、AUCPR、P@R、Fβ などの非分解可能なランク付け目的関数を最適化するスケーラブルで統一的なフレームワークを提案する。単純なサロゲートバウンドを導出することで、効率的な確率的勾配降下法（SGD）が可能となる。本手法は、ImageNet や 3億枚の画像を含む大規模なリtrieval タスクにおいて、標準的な交差エントロピー最適化と同等の訓練効率を維持しながら、精度ベースのベースラインに比べて最大36.6ポイントの向上を達成し、最先端の性能を発揮する。

ABSTRACT

Modern retrieval systems are often driven by an underlying machine learning model. The goal of such systems is to identify and possibly rank the few most relevant items for a given query or context. Thus, such systems are typically evaluated using a ranking-based performance metric such as the area under the precision-recall curve, the $F_β$ score, precision at fixed recall, etc. Obviously, it is desirable to train such systems to optimize the metric of interest. In practice, due to the scalability limitations of existing approaches for optimizing such objectives, large-scale retrieval systems are instead trained to maximize classification accuracy, in the hope that performance as measured via the true objective will also be favorable. In this work we present a unified framework that, using straightforward building block bounds, allows for highly scalable optimization of a wide range of ranking-based objectives. We demonstrate the advantage of our approach on several real-life retrieval problems that are significantly larger than those considered in the literature, while achieving substantial improvement in performance over the accuracy-objective baseline.

研究の動機と目的

• AUCPR、P@R、Fβ などの非分解可能なランク付け目的関数を最適化する既存手法のスケーラビリティの限界を解決すること。
• フルバッチ計算や二次時間計算を必要とせず、幅広いランク付けベースの指標に適用可能な統一された最適化フレームワークを構築すること。
• 標準的な精度最適化が真の評価指標を最大化できない現実世界のデータセットにおいて、不正検知や画像分類などの大規模リtrieval システムの訓練を可能にすること。
• 目的の指標（例：AUCPR）を直接最適化することで、標準的な交差エントロピーまたは精度ベースの学習に比べて顕著な性能向上が得られることを示すこと。

提案手法

• 真の真陽性・偽陽性インジケータの各例ごとのバウンドを導出し、非分解可能な指標のためのグローバルなサロゲート目的関数を構築する。
• これらのサロゲート目的関数は、元の非分解可能な目的関数の凸緩和であり、確率的勾配降下法（SGD）に適している。
• AUCPR などの積分に基づく指標を近似するために、有限個のアンカーポイント（例：K=5 または K=10）を用い、大規模データセット上での効率的な最適化を可能にする。
• 標準的なミニバッチ SGD を用い、収束速度が良好であるため、数億例のデータセットに対してもスケーラブルである。
• AUCROC、AUCPR、P@R、R@P、Fβ など複数の指標に共通する構築ブロックを再利用することで、統一された最適化パイプラインを実現する。
• 特に、高再現率や高適合率の範囲など、特定の領域における曲線下積分（AUC）を最適化するような、新たな目的関数もサポートする。

実験結果

リサーチクエスチョン

• RQ1 AUCPR や P@R、Fβ などの多様な非分解可能なランク付け目的関数を、標準的な分類損失と同等の計算効率で最適化できる統一フレームワークを開発できるか？
• RQ2 真の評価指標（例：AUCPR）を最適化することで、大規模リtrieval システムにおいて精度ベースの学習に比べて測定可能な性能向上が得られるか？
• RQ3 提案されたサロゲートバウンドが、数億例のデータセット上でも非分解可能な目的関数のスケーラブルで確率的最適化を可能にするか？
• RQ4 本手法の性能は、標準ベースライン（例：ソフトマックス交差エントロピー）と比較して、指標の向上度と訓練効率の両面で優れているか？

主な発見

• CIFAR-10 では、提案手法による AUCPR 最適化で、ベースラインの 84.6% から 94.2% に上昇し、9.6 パーセンテージポイントの向上を達成した。
• P@R 95 では、ベースラインに比べて 24.1 パーセンテージポイントの向上を達成し、高再現率領域での顕著な改善を示した。
• ImageNet では、AUCPR が 82.2% から 83.3% に向上した一方で、精度はたった 0.4% の低下に抑えられ、大規模ベンチマークでの有効性を示した。
• JFT データセット（3億枚の画像、20,000ラベル）では、同じアーサイテクチャと訓練時間で、AUCPR がベースラインの 42% から 48% に上昇し、6 パーセンテージポイントの向上を達成した。
• 標準的な SGD と同程度の収束速度を達成しており、スケーラビリティと効率性が確認された。
• 各クラスの適合率-再現率曲線では、10クラスすべてで一貫した改善が観察され、特にベースラインで性能が低かったクラスで最大の向上が得られた。