[論文レビュー] Binary Excess Risk for Smooth Convex Surrogates

Mehrdad Mahdavi, Lijun Zhang+1 more|arXiv (Cornell University)|Feb 7, 2014

Sparse and Compressive Sensing Techniques参考文献 21被引用数 4

ひとこと要約

本稿は、二値分類における凸な代替損失の滑らかさと二値超過リスクの間のトレードオフを調査する。滑らかさは最適化と一般化を改善するが、統計的整合性を損なう可能性があり、結果として二値超過リスクを悪化させることがある。しかし、好都合な条件下では、適切に選ばれた滑らかな凸損失（特に滑らかにしたハードマージン損失）を用いることで、O(1/√n)未満の二値超過リスクを達成できる。最適化、一般化、リスク変換誤差を統合的に分析することで、一貫性のある枠組みを提供する。

ABSTRACT

In statistical learning theory, convex surrogates of the 0-1 loss are highly preferred because of the computational and theoretical virtues that convexity brings in. This is of more importance if we consider smooth surrogates as witnessed by the fact that the smoothness is further beneficial both computationally- by attaining an {\it optimal} convergence rate for optimization, and in a statistical sense- by providing an improved {\it optimistic} rate for generalization bound. In this paper we investigate the smoothness property from the viewpoint of statistical consistency and show how it affects the binary excess risk. We show that in contrast to optimization and generalization errors that favor the choice of smooth surrogate loss, the smoothness of loss function may degrade the binary excess risk. Motivated by this negative result, we provide a unified analysis that integrates optimization error, generalization bound, and the error in translating convex excess risk into a binary excess risk when examining the impact of smoothness on the binary excess risk. We show that under favorable conditions appropriate choice of smooth convex loss will result in a binary excess risk that is better than $O(1/\sqrt{n})$.

研究の動機と目的

• 凸代替損失の滑らかさが分類における二値超過リスクに与える統計的影響を理解すること。
• 最適化と一般化における滑らかさの利点と、二値超過リスクにおける統計的整合性の低下という、表面的には矛盾する現象を解明すること。
• 最適化誤差、一般化誤差、および凸超過リスクから二値超過リスクへの変換誤差を統合的に分析する枠組みを提供すること。
• 滑らかな凸損失が改善された二値超過リスクレートを達成できる条件を同定すること。

提案手法

• 最適化誤差、一般化誤差、および凸から二値超過リスクへのψ変換誤差の3つの誤差源を分析する統一フレームワークを提案する。
• ケーススタディとして滑らかにしたハードマージン損失を分析し、凸超過リスクから二値超過リスクへの関係を定式化するψ変換を導出する。
• ベルシュタインの不等式と濃度バインディングを用いて、ユニバーサルカーネルを用いたRKHS設定における一般化誤差を制御する。
• γをパラメータとして用いて滑らかさの制御を導入し、滑らかさとリスクパフォーマンスのトレードオフを分析する。
• 経験的リスク最小化の収束速度に依存する、n、γ、および収束率に依存する二値超過リスクの高確率上界を導出する。
• 最適化反復回数が√nを超えており、R∗_hingeが1/γより速く収束するといった好都合な条件下で、二値超過リスクがO(1/√n)未満に収束することを確立する。

実験結果

リサーチクエスチョン

• RQ1 凸代替損失の滑らかさは、分類における二値超過リスクにどのように影響するか？
• RQ2 最適化と一般化を改善する滑らかさが、なぜ二値超過リスクの統計的整合性を損なうのか？
• RQ3 好都合な条件下で、滑らかな凸損失が依然としてO(1/√n)未満の二値超過リスクを達成できるか？
• RQ4 滑らかな凸代替損失の文脈において、最適化誤差、一般化誤差、リスク変換誤差の相互作用は何か？
• RQ5 滑らかにしたハードマージン損失が非滑らかな代替損失を上回る二値超過リスクを達成できる条件は何か？

主な発見

• 凸代替損失の滑らかさは、最適化と一般化の利点とは対照的に、二値超過リスクを悪化させる。
• 滑らかにしたハードマージン損失のψ変換が導出され、凸超過リスクから二値超過リスクへのマッピングが定量的に評価された。
• 好都合な条件下（具体的には最適化反復回数が√nを超えており、R∗_hingeが1/γより速く収束する）では、二値超過リスクがO(n−τ1 log n)で抑えられ、τ1 > 1/2となる。
• これは、二値超過リスクがO(1/√n)未満に抑えられることを示しており、滑らかさが適切に制御されていれば、利点をもたらす可能性があることを示している。
• 統一的分析により、最適化誤差、一般化誤差、リスク変換誤差の相互作用が最終的なパフォーマンスを決定づけることが明らかになった。滑らかさパラメータγを適切に選べば、滑らかさが有利に働くことがある。
• 限られた訓練データの下では、滑らかな凸損失を用いることで、非滑らかな代替損失よりも少ない最適化反復回数でより良い一般化性能を達成できる可能性がある。