[論文レビュー] Smoothing Multivariate Performance Measures

Xinhua Zhang, Ankan Saha+1 more|arXiv (Cornell University)|Feb 14, 2012

Sparse and Compressive Sensing Techniques参考文献 34被引用数 38

ひとこと要約

本稿では、F1スコアやROCAreaなどの多変数性能指標のためのスムージング技術を導入し、最適化における収束速度を向上させる。Nesterovの加速勾配法と組み合わせることで、SVM-Perfなどのカットティングプレーン法よりも著しく高速なO(1/√(λε))の反復複雑度を達成する一方で、反復ごとの計算コストとベンチマークデータセットにおける一般化性能に変化をもたらさない。

ABSTRACT

A Support Vector Method for multivariate performance measures was recently introduced by Joachims (2005). The underlying optimization problem is currently solved using cutting plane methods such as SVM-Perf and BMRM. One can show that these algorithms converge to an eta accurate solution in O(1/Lambda*e) iterations, where lambda is the trade-off parameter between the regularizer and the loss function. We present a smoothing strategy for multivariate performance scores, in particular precision/recall break-even point and ROCArea. When combined with Nesterov's accelerated gradient algorithm our smoothing strategy yields an optimization algorithm which converges to an eta accurate solution in O(min{1/e,1/sqrt(lambda*e)}) iterations. Furthermore, the cost per iteration of our scheme is the same as that of SVM-Perf and BMRM. Empirical evaluation on a number of publicly available datasets shows that our method converges significantly faster than cutting plane methods without sacrificing generalization ability.

研究の動機と目的

• SVM-Perf や BMRM のようなカットティングプレーン法の収束が遅い問題に対処すること。
• F1スコアやROCAreaのような性能スコアのための、より高速な収束を可能にするスムージング戦略の開発。
• 収束に必要な反復回数を著しく削減しながらも、一般化性能を維持すること。
• スムージングをNesterovの加速勾配法と組み合わせ、最適な収束速度を達成すること。

提案手法

• 非微分可能な多変数性能指標、特にF1スコアやROCAreaのためのスムージング技術を提案する。
• スムージングを適用して元の非滑らか最適化問題を滑らかに変換し、高速な一次元法の適用を可能にする。
• 滑らか化された目的関数をNesterovの加速勾配アルゴリズムと統合し、最適な収束速度を達成する。
• 反復ごとの計算コストがSVM-Perf や BMRM と同一のまま保たれることを保証し、効率性を維持する。
• スムージングパラメータを用いて、滑らかさと元の性能指標の近似精度のトレードオフを制御する。
• 理論的収束バウンドを導出。ε-精度のための反復回数がO(1/√(λε))であることを示し、SVM-Perf や BMRM のO(1/λε)よりも優れている。

実験結果

リサーチクエスチョン

• RQ1 F1スコア や ROCArea のような非微分可能な多変数性能指標に、スムージング技術を効果的に適用できるか？
• RQ2 スムージングをNesterovの加速勾配法と組み合わせることで、従来のカットティングプレーン法よりも高速な収束が達成できるか？
• RQ3 提案手法は、収束に必要な反復回数を削減しながらも、一般化性能を維持できるか？
• RQ4 滑らか化された最適化フレームワークの理論的収束速度は、既存手法と比較してどの程度か？

主な発見

• 提案されたスムージング手法は、SVM-Perf や BMRM などのカットティングプレーン法よりも著しく高速なO(1/√(λε))の収束速度を達成する。
• 公開済みのデータセットを用いた実験評価により、SVM-Perf や BMRM よりも著しく高速に収束することが示され、一般化能力に劣化がない。
• 提案手法の反復ごとの計算コストは、SVM-Perf や BMRM と同一であり、計算効率が保たれている。
• 複数のベンチマークデータセットにおいて、F1スコア や ROCArea などの多変数指標において高い性能を維持している。
• 理論的分析により、スムージング戦略が非滑らか多変数性能指標に対して加速勾配法を適用可能にすることを確認した。