[論文レビュー] Online Improper Learning with an Approximation Oracle

Elad Hazan, Wei Hu+2 more|arXiv (Cornell University)|Jan 1, 2018

Advanced Bandit Algorithms Research被引用数 10

ひとこと要約

本稿では、オンライン学習をオフラインの近似最適化に還元する新規手法を提示し、各反復で対数的回数の近似オラクル呼び出しのみを用いて、効率的なオンライン学習を可能にする。KalaiとVempala、およびGarberが提起した未解決問題を解決し、効率的なオラクル使用を伴う非正しく（improper）な学習設定において近似最適なレグレットを達成する。

ABSTRACT

We study the following question: given an efficient approximation algorithm for an optimization problem, can we learn efficiently in the same setting? We give a formal affirmative answer to this question in the form of a reduction from online learning to offline approximate optimization using an efficient algorithm that guarantees near optimal regret. The algorithm is efficient in terms of the number of oracle calls to a given approximation oracle – it makes only logarithmically many such calls per iteration. This resolves an open question by Kalai and Vempala, and by Garber. Furthermore, our result applies to the more general improper learning problems.

研究の動機と目的

• 効率的な近似アルゴリズムが効率的なオンライン学習を可能にするかどうかという、未解決の問題に取り組むこと。
• 低レグレットを維持するように、オンライン学習からオフライン近似最適化への還元を設計すること。
• 提案されたアルゴリズムが、オラクルクエリの観点から計算的に効率的であることを保証し、各反復で対数的回数の呼び出しを行うこと。
• 予測が元の仮説クラスに属さない非正しく（improper）な学習問題への適用可能性を拡張すること。
• 近似オラクルが効率的なオンライン学習を支援できるかどうかという問いに、形式的な肯定的解答を提示すること。

提案手法

• 本手法は、注意深く設計された反復的更新ルールを用いて、オンライン学習をオフライン近似最適化に還元する。
• 分離オラクルとデュアルアベーリージングフレームワークを活用し、各ラウンドで対数的回数のオラクル呼び出しでレグレットバウンドを維持する。
• アルゴリズムは仮説の確率分布を維持し、フィードバックに基づいてそれを更新するが、近似オラクルを用いて近似的に最適な解を効率的に計算する。
• 本手法は、時間とともにレグレットが非線形的に増加するのを防ぎ、近似的な解を使用しても近似最適な性能を達成する。
• 本手法は、オラクルの近似比と反復回数の観点から、レグレットをバウンドする新しい分析技術を導入する。
• 本手法は一般性に富み、特定の仮説クラスに制限されない、広範な非正しく（improper）な学習問題に適用可能である。

実験結果

リサーチクエスチョン

• RQ1 最適化問題に対する効率的な近似アルゴリズムを用いて、効率的なオンライン学習を達成できるか？
• RQ2 オンライン学習で近似最適なレグレットを維持するために、各反復で必要なオラクル呼び出し回数の最小値は何か？
• RQ3 オンライン学習から近似オフライン最適化への還元を、オラクル使用の観点から効率的にできるか？
• RQ4 仮説クラスが凸結合について閉じていない非正しく（improper）な学習に、本手法は拡張可能か？
• RQ5 各反復で対数的回数のオラクル呼び出しのみを用いても、近似最適性を維持しながらレグレットをバウンドできるか？

主な発見

• 提案されたアルゴリズムは、各反復で対数的回数のオラクル呼び出しのみで、近似最適なレグレットを達成し、従来の手法に比べて顕著に改善されている。
• 還元手法は一般性に富み、非正しく（improper）な学習問題に適用可能であり、近似オラクルを用いたオンライン学習の適用範囲を拡張している。
• 本手法は、KalaiとVempala、およびGarberが提起した、近似オラクルを用いた効率的オンライン学習の可能性に関する未解決問題を解決する。
• レグレットバウンドは非線形的であり、オラクルの近似比に依存するため、スケーラビリティと効率性が保証される。
• 繰り返し高価な最適化を避ける代わりに、効率的なオラクルクエリに依存することで、計算的効率性を維持している。
• 理論的分析により、近似的な解を使用しても、最適ベンチマークに非常に近いレグレットを達成できることを確認している。