[論文レビュー] Exploring the Algorithm-Dependent Generalization of AUPRC Optimization with List Stability

Peisong Wen, Qianqian Xu+3 more|arXiv (Cornell University)|Sep 27, 2022

Advanced Image and Video Retrieval Techniques被引用数 5

ひとこと要約

本稿は、単一クエリ設定におけるAUPRCのための、新たな確率的最適化フレームワークを提案する。これは、文献において初めての、アルゴリズム依存の一般化を保証するものである。サンプリングレートに依存しない、漸近的に不偏な確率的推定器を導入し、AUPRCを二段階の複合的問題として定式化することで、ハイブリッドSGDアルゴリズムにより安定性と収束性を確保する。画像検索ベンチマークにおいて、従来手法を上回る顕著なmAUPRCの向上を達成する。

ABSTRACT

Stochastic optimization of the Area Under the Precision-Recall Curve (AUPRC) is a crucial problem for machine learning. Although various algorithms have been extensively studied for AUPRC optimization, the generalization is only guaranteed in the multi-query case. In this work, we present the first trial in the single-query generalization of stochastic AUPRC optimization. For sharper generalization bounds, we focus on algorithm-dependent generalization. There are both algorithmic and theoretical obstacles to our destination. From an algorithmic perspective, we notice that the majority of existing stochastic estimators are biased only when the sampling strategy is biased, and is leave-one-out unstable due to the non-decomposability. To address these issues, we propose a sampling-rate-invariant unbiased stochastic estimator with superior stability. On top of this, the AUPRC optimization is formulated as a composition optimization problem, and a stochastic algorithm is proposed to solve this problem. From a theoretical perspective, standard techniques of the algorithm-dependent generalization analysis cannot be directly applied to such a listwise compositional optimization problem. To fill this gap, we extend the model stability from instancewise losses to listwise losses and bridge the corresponding generalization and stability. Additionally, we construct state transition matrices to describe the recurrence of the stability, and simplify calculations by matrix spectrum. Practically, experimental results on three image retrieval datasets on speak to the effectiveness and soundness of our framework.

研究の動機と目的

• 単一クエリにおける確率的AUPRC最適化におけるアルゴリズム依存一般化の未解決問題に取り組む。
• サンプリングレート依存性とリーブ・オール・アウトの不安定性によって引き起こされる、従来の確率的推定器のバイアスと不安定性を克服する。
• コンポジショナル最適化におけるインスタンスワイズ損失からリストワイズ損失へのモデル安定性と一般化理論の拡張を行う。
• 低クエリ環境でも良好に一般化する、保証付き収束性と安定性を持つAUPRC最適化アルゴリズムを開発する。
• 画像検索データセット上でフレームワークの実証的妥当性を検証し、最先端の性能を示す。

提案手法

• 補助ランクインジケーターベクトルを用いた再定式化により、サンプリングレートに依存しない漸近的に不偏な確率的推定器を提案する。
• AUPRC最適化を二段階の複合的問題として再定式化することで、安定かつ微分可能な最適化を可能にする。
• 収束性と安定性を保証するため、確率的勾配降下法、線形補間、指数移動平均を組み合わせたハイブリッド最適化アルゴリズムを導入する。
• インスタンスワイズ損失からリストワイズ損失へのモデル安定性の概念を拡張し、AUPRCにおける一般化解析を可能にする。
• コンポジショナル最適化における変数の交互更新にための状態遷移行列を構築し、行列固有値分解を用いて安定性解析を簡素化する。
• 推定器の安定性と一般化を向上させるため、セミ・バリアンス正則化項を組み込む。

実験結果

リサーチクエスチョン

• RQ1 単一クエリ設定における確率的AUPRC最適化において、アルゴリズム依存一般化を確立できるか。過去の研究では、多クエリ設定での一般化しか保証していない。
• RQ2 AUPRCのバイアスが大きく不安定な確率的推定器は、どのように是正できるか。特に、変動するサンプリングレート下でも不偏性と安定性を確保できるか。
• RQ3 標準的なアルゴリズム依存一般化フレームワークは、AUPRCのような非分解可能なリストワイズ損失へと拡張可能か。
• RQ4 二段階の複合的最適化問題における安定性解析において、状態遷移行列の役割は何か。
• RQ5 提案手法は、既存のAUPRC最適化ベースラインと比較して、一般化性能および実行性能の面でどのように優れているか。

主な発見

• SOPデータセットにおいて、提案手法は63.27の最高mAUPRCを達成し、前回最良手法（SmoothAP）を1.31ポイント上回った。
• iNaturalistデータセットでは、trainvalスプリットで37.31のmAUPRCを達成し、2番目に良い手法（SmoothAP）を2.42ポイント上回った。
• VehicleIDでは、trainvalスプリットで83.70のmAUPRCを達成し、次に良い手法（DIR）を2.11ポイント上回った。
• 図7の収束曲線から、SmoothAP や FastAP といったベースライン手法よりも、提案手法がより速くかつ安定して収束することが示された。
• 図6の平均PR曲線は、特に高再現率領域において、すべてのデータセットで一貫した優位性を示した。
• 理論的解析により、提案推定器が漸近的に不偏であり、行列固有値に基づく安定性計算によってその改善された安定性が裏付けられた。