[論文レビュー] Optimal learning with Bernstein Online Aggregation

Olivier Wintenberger|arXiv (Cornell University)|Apr 4, 2014

Advanced Bandit Algorithms Research参考文献 23被引用数 4

ひとこと要約

本稿では、二階の補正項を用いた観測可能な二階リスク項を組み込むことで、古典的な指数重み法の限界を克服し、平方損失下でのモデル選択のためのアグリゲーション問題において、deviation において最適な高速収束レート log(M)/n を達成するオンライン学習アルゴリズムであるBernstein Online Aggregation (BOA) を提案する。BOA は、二階の補正を用いることで、古典的な指数重み法を超えて、バッチ版が最適な高速レートに達する最初のオンライン手順となり、完全に適応的なバージョンは log log n 要素の因子まで近似的に最適性を達成する。

ABSTRACT

We introduce a new recursive aggregation procedure called Bernstein Online Aggregation (BOA). The exponential weights include an accuracy term and a second order term that is a proxy of the quadratic variation as in Hazan and Kale (2010). This second term stabilizes the procedure that is optimal in different senses. We first obtain optimal regret bounds in the deterministic context. Then, an adaptive version is the first exponential weights algorithm that exhibits a second order bound with excess losses that appears first in Gaillard et al. (2014). The second order bounds in the deterministic context are extended to a general stochastic context using the cumulative predictive risk. Such conversion provides the main result of the paper, an inequality of a novel type comparing the procedure with any deterministic aggregation procedure for an integrated criteria. Then we obtain an observable estimate of the excess of risk of the BOA procedure. To assert the optimality, we consider finally the iid case for strongly convex and Lipschitz continuous losses and we prove that the optimal rate of aggregation of Tsybakov (2003) is achieved. The batch version of the BOA procedure is then the first adaptive explicit algorithm that satisfies an optimal oracle inequality with high probability.

研究の動機と目的

• モデル選択問題において、平方損失下で偏差における最適な高速収束レート log(M)/n を達成するオンラインアグリゲーション手順の開発。
• 古典的な指数重み法が高速レートを達成できない理由を解消するため、二階の補正を導入することによる、高速レートの達成のための課題克服。
• 勾配の上限が事前に不明な状況でも自動的に学習率を調整できる完全に適応的なアルゴリズムの設計。
• Lipschitz 性および強い凸性を持つ損失関数を仮定した、有界かつ独立同分布の設定下で、標準的および適応的 BOA 手順の理論的保証の確立。

提案手法

• 累積予測リスク推定に基づく観測可能な二階リスク項を用いた第二階補正項を組み込んだ、再帰的アグリゲーション手順として Bernstein Online Aggregation (BOA) を提案。
• 任意の確率的環境下で、観測可能な二階項を用いて累積予測リスクを推定するための新しい確率的変換技術を導入。
• ヤングの不等式と「ポアソン的」不等式を用いて導出された第二階の経験的バウンドを用いて、予測リスクの偏差を制御。
• 重み更新における一次および二次の項のバランスを取るために、温度パrameter η を用い、最適な選択 η* により高速レートを保証。
• 未知の勾配バウンドに適応可能な、複数の学習率を持つ BOA の変種を設計し、log log n 要素の因子まで近似的に最適性を達成。
• 有界な勾配と強い凸性を持つ損失関数を仮定した平方損失設定に本手法を適用し、高速収束レートを保証。

実験結果

リサーチクエスチョン

• RQ1 オンラインアグリゲーション手順は、平方損失下でのモデル選択において、偏差における最適な高速レート log(M)/n を達成できるか？
• RQ2 なぜ古典的な指数重み法はこの高速レートを達成できないのか？そして、二階の補正がこの問題をどのように解決するのか？
• RQ3 勾配バウンドの事前知識が得られない状況でも、自動的に学習率を調整できる適応的オンラインアルゴリズムを設計することは可能か？
• RQ4 オンラインアルゴリズムのバッチ版は最適な高速レートに達することができるか？その場合、どのような条件下で達成されるか？
• RQ5 観測可能な二階項は、確率的かつおそらく退化した共変量が存在する状況下で、どのように高速レートの達成に寄与するか？

主な発見

• BOA のバッチ版は、平方損失下でのモデル選択問題において、偏差における最適な高速収束レート log(M)/n を達成する。
• BOA の二階補正項は、この高速レートを達成するために不可欠であり、古典的な指数重み法ではこのレートに到達できない。
• 適応的 BOA 手順は、最適レートから log log n 要素の因子まで近い収束速度を達成し、完全に自動化されており実用的である。
• オンライン BOA 手順の予測リスクは、高確率的バウンド min_j R(f_j) + O((log M + x)/n) の形を満たし、その最適性が確認される。
• アルゴリズムの計算複雑度は O(Mn) であり、反復的最適化を要するバッチ手順よりも効率的である。
• 理論的解析により、オンラインとバッチのリスクの差が高速レートに比べて無視できるほど小さいことが確認され、オンライン手順の最適性が裏付けられる。