[論文レビュー] Oracle inequalities for computationally adaptive model selection

Alekh Agarwal, Peter L. Bartlett+1 more|arXiv (Cornell University)|Aug 1, 2012

Advanced Bandit Algorithms Research参考文献 28被引用数 13

ひとこと要約

本稿は、固定された計算予算のもとで関数クラスの間を適応的に選択するアルゴリズムを提案する計算的視点を導入する。計算時間の異なるクラスに対しても、最良のクラスに対するリスクの差が対数的ペナルティにしかならず、選択されたモデルのリスクがほぼ最適であることを示すオラクル不等式を確立する。

ABSTRACT

We analyze general model selection procedures using penalized empirical loss minimization under computational constraints. While classical model selection approaches do not consider computational aspects of performing model selection, we argue that any practical model selection procedure must not only trade off estimation and approximation error, but also the computational effort required to compute empirical minimizers for different function classes. We provide a framework for analyzing such problems, and we give algorithms for model selection under a computational budget. These algorithms satisfy oracle inequalities that show that the risk of the selected model is not much worse than if we had devoted all of our omputational budget to the optimal function class.

研究の動機と目的

• 古典的モデル選択における計算コストの制約を統合するギャップを埋める。
• 推定誤差、近似誤差、計算努力のバランスを取るモデル選択アルゴリズムを開発する。
• 選択されたモデルが、すべての計算を最適なクラスに割り当てた場合とほぼ同等に機能することを保証する理論的保証（オラクル不等式）を提供する。
• 複雑なモデルのトレーニングに高コストがかかる状況を扱い、モデルの豊かさと各クラスのデータサイズの間のトレードオフを考慮する。

提案手法

• 推定誤差、近似誤差、計算コストの間のトレードオフとしてモデル選択を定式化し、合計計算量に上限がある固定予算を設定する。
• 関数クラスの階層的族 $\mathcal{F}_1 \subseteq \mathcal{F}_2 \subseteq \cdots$ を用い、各クラスに計算リソースを適応的に割り当てる。
• 標本サイズとモデルクラスに依存する複雑さペナルティ $\gamma_i(n)$ を用いたペナルティ付き経験リスク最小化フレームワークを採用する。
• マルチアームバンディット風の戦略を用いてクラス間での計算割り当てを実施し、性能とコストに基づいて動的にどのクラスをトレーニングするかを選択する。
• 集中不等式と割り当て戦略のレグルグ解析を用いて、最終モデルのリスクに関する高確率的バウンドを導出する。
• ジェンセンの不等式とテールバウンドを組み合わせ、平均出力モデル $\widehat{f}_T$ の期待リスクを制御する。

実験結果

リサーチクエスチョン

• RQ1 計算量が主な制約である場合、モデル選択を単に標本サイズに依存するのではなく、計算制約に適応的にする方法は何か？
• RQ2 計算が主なボトルネックである場合、モデル選択の理論的性能限界は何か？
• RQ3 モデルの適合に要する計算コストがクラスごとに異なる場合、オラクルに近いリスクバウンドを達成できるか？
• RQ4 固定予算のもとで、異なるモデルクラス間での計算をどのように割り当てれば過剰リスクを最小化できるか？
• RQ5 適応的割り当てが、選択されたモデルの収束速度に与える影響は何か？

主な発見

• 選択されたモデルのリスクは、高確率で最良クラスの最適リスクに加え、クラス数 $K$ の対数的ペナルティが加わる。
• 過剰リスクは $T$ を合計計算ラウンド数として、$O(T^{-\min\{\alpha, 1/2\}})$ のレートで減少する。
• 複雑なモデルのトレーニングに高コストがかかる場合でも、近似的に最適な近似誤差と推定誤差のトレードオフを達成する。
• 最終モデルのリスクは $R^* + \gamma_{i^*}(Tn_{i^*}) + O(T^{-1/\beta}\sqrt{\log T})$ でバウンドされ、ここで $\beta$ は割り当て戦略のレグルグを制御する。
• 適応的割り当てのコストを定量化する項 $C' T^{1-\min\{\alpha,1/2\}} \left(\sum_{i=1}^K [c_i n_i^{-\alpha} + \cdots]^{\max\{1/\alpha,2\}}\right)^{\min\{\alpha,1/2\}}$ を含む。
• 高確率 $1 - \kappa_1/(TK^3)$ において、平均モデル $\widehat{f}_T$ は近似的に最適なリスクを達成し、計算制約に対して頑健であることが示された。