[論文レビュー] Volumetric Spanners: an Efficient Exploration Basis for Learning

Elad Hazan, Zohar Karnin+1 more|arXiv (Cornell University)|Dec 21, 2013

Advanced Bandit Algorithms Research参考文献 13被引用数 5

ひとこと要約

本稿では、高次元の凸意思決定空間における効率的で分散の小さい探索を可能にする幾何的構造、ボリュメトリック・スパンナーズを導入する。著者らは、最小ボリュメトリック楕円体を用いてこれらのスパンナーズを構築することで、一般の凸集合上でのバンドイット線形最適化に対する、初めての多項式時間かつ近似的最適なリグレットアルゴリズムを達成し、従来の計算の非効率性や部分的最適でないリグレット境界といった制限を克服した。

ABSTRACT

Numerous machine learning problems require an exploration basis - a mechanism to explore the action space. We define a novel geometric notion of exploration basis with low variance, called volumetric spanners, and give efficient algorithms to construct such a basis. We show how efficient volumetric spanners give rise to the first efficient and optimal regret algorithm for bandit linear optimization over general convex sets. Previously such results were known only for specific convex sets, or under special conditions such as the existence of an efficient self-concordant barrier for the underlying set.

研究の動機と目的

• 機械学習における効率的探索の根本的課題、特に不確実性下での意思決定に取り組むこと。
• 凸集合上での線形関数の正確な補間を可能にする、分散が小さい新しい幾何的探索基底、すなわちボリュメトリック・スパンナーズを定義すること。
• 凸幾何学におけるボリュメトリック・スパンナーや最小ボリュメトリック楕円体を構築するための効率的アルゴリズムを開発すること。
• 長年の未解決問題を解決し、一般の凸意思決定集合上でのバンドイット線形最適化に対する、初めての多項式時間かつ近似的最適なリグレットアルゴリズムを提供すること。
• 原理的で分散の小さいサンプリング戦略を用いて、アクティブラーニングおよび実験設計への適用性を拡張すること。

提案手法

• 凸集合のための分散が小さい探索基底としてボリュメトリック・スパンナーズの概念を導入し、スパンナーより得られるノイズの多い推定値が、全体の集合全体においても分散が小さくなるように保証すること。
• 凸体の最小ボリュメトリック楕円体を、その体を含む最小体積の楕円体として定義し、その存在性および性質に関する構造定理を確立すること。
• 対数凹分布からのサンプリングと幾何最適化技術を用いて、ボリュメトリック・スパンナーや最小ボリュメトリック楕円体を効率的に計算するアルゴリズムを構築すること。
• スパンナーや探索集合としての使用をバンドイット線形最適化に適用し、線形コストの不偏推定と指数的重みを用いたリグレット解析を実施すること。
• バーチャートリック・スパンナーや、それらの特別な場合としてのボリュメトリック・スパンナーより、分散と計算効率の両方を改善した関係を確立すること。
• 集中不等式および尾部バウンド（例：補題6.5）を用いて推定誤差を制御し、スパンナーサイズおよび次元の観点からリグレット境界を導出すること。

実験結果

リサーチクエスチョン

• RQ1 一般の凸意思決定集合におけるバンドイット学習のための、分散が小さい探索を可能にする幾何的構成を設計できるか？
• RQ2 凸体の最小ボリュメトリック楕円体とは何か？ その構造的および計算的性質は何か？
• RQ3 バンドイット線形最適化において近似的最適なリグレットを実現するためのボリュメトリック・スパンナーやその構築に適した効率的アルゴリズムを開発できるか？
• RQ4 本手法は、リグレット最適性および計算効率の観点から、従来の手法と比較してどのように異なるか？
• RQ5 ボリュメトリック・スパンナーや、アクティブラーニングおよび実験設計における既存の探索戦略を統合・改善するために利用できるか？

主な発見

• 本稿は、一般の凸集合上でのバンドイット線形最適化に対して、初めての多項式時間アルゴリズムを構築し、近似的最適なリグレット境界 $ O\big((s+d)\big/\big/\text{sqrt}(T\text{log}(|\mathcal{K}|)/d)\big) $ を達成した。
• このリグレット境界は近似的最適であり、対数因子を除いて理論的下界と一致しており、従来の手法が非効率または部分的最適であったのを改善した。
• ボリュメトリック・スパンナーやバーチャートリック・スパンナーより一般化されたものであることが示され、$2\sqrt{d}$-ratio-ボリュメトリック・スパンナーや、バーチャートリック・スパンナーテクニックを用いて構築可能である。
• 凸体の最小ボリュメトリック楕円体は存在し、いくつかの状況では効率的に計算可能であり、本手法の幾何的基盤を提供している。
• 対数凹分布からのi.i.d.サンプリングの使用により、探索戦略が分散の小さい推定値をもたらし、意思決定集合全体における線形関数の正確な補間が可能である。
• 理論的解析により、期待リグレットが $ \frac{\log(|\mathcal{K}|)+2}{\eta} + 2\eta Td + \gamma T $ で有界であることが確認され、最適なパrameterチューニングにより、上記の近似的最適なリグレットが得られることが示された。