[論文レビュー] Surrogate Functions for Maximizing Precision at the Top

Purushottam Kar, Harikrishna Narasimhan+1 more|arXiv (Cornell University)|May 26, 2015

Machine Learning and Algorithms参考文献 31被引用数 12

ひとこと要約

本稿は、順序付けおよびマルチラベル学習における重要な性能指標であるPrecision@k (prec@k) のための、新規で凸的かつ上界を成す代替関数の族を導入する。これらの代替関数は、根拠に基づいたマージン条件を備えて設計されており、誤り数と収束に関する保証が得られるスケーラブルなパーセプトロンおよび確率的勾配降下法アルゴリズムの実行を可能にし、実用的状況下でのprec@kの最適化を顕著に進展させる。

ABSTRACT

The problem of maximizing precision at the top of a ranked list, often dubbed Precision@k (prec@k), finds relevance in myriad learning applications such as ranking, multi-label classification, and learning with severe label imbalance. However, despite its popularity, there exist significant gaps in our understanding of this problem and its associated performance measure. The most notable of these is the lack of a convex upper bounding surrogate for prec@k. We also lack scalable perceptron and stochastic gradient descent algorithms for optimizing this performance measure. In this paper we make key contributions in these directions. At the heart of our results is a family of truly upper bounding surrogates for prec@k. These surrogates are motivated in a principled manner and enjoy attractive properties such as consistency to prec@k under various natural margin/noise conditions. These surrogates are then used to design a class of novel perceptron algorithms for optimizing prec@k with provable mistake bounds. We also devise scalable stochastic gradient descent style methods for this problem with provable convergence bounds. Our proofs rely on novel uniform convergence bounds which require an in-depth analysis of the structural properties of prec@k and its surrogates. We conclude with experimental results comparing our algorithms with state-of-the-art cutting plane and stochastic gradient algorithms for maximizing prec@k.

研究の動機と目的

• 順序付けおよびマルチラベル学習における広く用いられているが、あまり理解されていない性能指標であるPrecision@kのための、凸的かつ上界を成す代替関数の欠如に対処すること。
• 既存の手法（カットプレーン法やSVMベースの手法など）の制限を克服し、prec@kを最大化するためのスケーラブルなオンラインおよび確率的最適化アルゴリズムを開発すること。
• prec@kおよびその代替関数の新しい一様収束解析を用いて、パーセプトロン風アルゴリズムの誤り数の保証およびSGDの収束保証を含む理論的保証を確立すること。
• 弱い、中程度の、強いの三つのマージン条件（弱、中、強）の階層を定義し、三つに提案された代替関数と一致させることで、自然なデータ仮定の下で条件付き一致性を保証すること。
• 理論的理解とprec@k最適化の実用的導入とのギャップを、明確な一般化および収束保証を備えたアルゴリズムを提供することで埋めること。

提案手法

• 真のprec@k指標を厳密に上界で抑え、最適化が実際のprec@k性能を向上させることを保証する、三つの新規な凸的代替関数を提案する。
• 弱、中、強の三つのマージン条件—弱い、中程度の、強い(k,γ)-マージン—を導入し、代替関数がprec@kと一致する自然なデータ分離仮定を定義する。
• 古典的パーセプトロンを一般化した二つのパーセプトロン風アルゴリズムを設計し、定義されたマージン条件下で誤り数の保証が向上する。
• miniバッチ確率的勾配降下法（SGD）アルゴリズムをprec@k最適化のために開発し、代替損失の一分散収束保証から導かれる収束保証を備える。
• ラベル空間の分割と集中不等式（例：ベルンシュタインの不等式）を活用した、prec@k性能指標およびその代替関数の一様収束の新しい解析を採用する。
• オンラインからバッチへの変換技術を用いて、パーセプトロンアルゴリズムの一般化保証を導出し、理論的堅牢性を確保する。

実験結果

リサーチクエスチョン

• RQ1 Precision@kを厳密に上界で抑え、最適化が安全に実行可能であることが保証される凸的代替関数を設計できるか？
• RQ2 これらの代替関数が真のprec@k指標と一致するための自然なマージン条件は何か？
• RQ3 誤り数と収束保証が保証されるスケーラブルなオンラインおよび確率的最適化アルゴリズムを、prec@kのために開発できるか？
• RQ4 prec@kおよびその代替関数の構造的性質が、学習理論における一般化および一様収束にどのように影響するか？
• RQ5 マージン条件、代替関数、アルゴリズムの性能保証の間の、原理的で整合性のある階層関係は存在するか？

主な発見

• 提案された代替関数は、prec@kを厳密に上界で抑える最初の既知の凸関数であり、それらを最適化することで真のprec@k性能が向上することを保証する。
• 三つの代替関数のそれぞれが、導入された三つのマージン条件のいずれかの下で条件付き一貫性を示し、代替関数とマージン概念の間の一対一の対応関係を確立する。
• パーセプトロン風アルゴリズムは、弱い(k,γ)-マージン条件下で誤り数の保証が収束保証に還元され、古典的パーセプトロン収束結果の一般化を達成する。
• SGDアルゴリズムは、平均代替損失の収束速度O(√(log T / T))を達成し、一様収束解析から高確率での一般化保証を導出する。
• 実験結果では、KDD08、Covtype、Cod-RNAなどのデータセットにおいて、SVMPerf や 1PMB といった最先端手法を上回る性能を示し、prec@0.25最大化タスクで優れた結果を得た。
• 理論的解析により、prec@kの構造的複雑性は、洗練された一様収束フレームワークを必要とすることが判明し、著者らはそのフレームワークを新規に開発し、新たな保証を導出する応用を行った。