[論文レビュー] Minimax Adaptive Boosting for Online Nonparametric Regression

Paul Liautaud, Pierre Gaillard+1 more|arXiv (Cornell University)|Jan 1, 2024

Distributed Sensor Networks and Detection Algorithms被引用数 1

ひとこと要約

本稿では、敵対的設定下で Hölder連続関数に対するミニマックス最適なレグレットを達成する、パラメータフリーで計算的に効率的なオンライン学習アルゴリズムを提案する。局所的滑らかさの変動に適応するように、チェイニングツリー構造を動的に刈り込むことで、関数の正則性に関する事前知識なしに最適な局所的適応性を達成する。これは、オンライン回帰において、これらの特性を併せ持つ最初のアルゴリズムである。

ABSTRACT

We study boosting for adversarial online nonparametric regression with general convex losses. We first introduce a parameter-free online gradient boosting (OGB) algorithm and show that its application to chaining trees achieves minimax optimal regret when competing against Lipschitz functions. While competing with nonparametric function classes can be challenging, the latter often exhibit local patterns, such as local Lipschitzness, that online algorithms can exploit to improve performance. By applying OGB over a core tree based on chaining trees, our proposed method effectively competes against all prunings that align with different Lipschitz profiles and demonstrates optimal dependence on the local regularities. As a result, we obtain the first computationally efficient algorithm with locally adaptive optimal rates for online regression in an adversarial setting.

研究の動機と目的

• 競合関数の滑らかさに関する事前知識なしに、ミニマックス最適なレグレットを達成するオンライン回帰アルゴリズムの設計。
• 関数の正則性が定義域全体で変動する非対称的オンライン非パラメトリック回帰における局所的適応性の課題に対処すること。
• チェイニングツリー構造の適応的刈り込みを通じて、局所的 Hölder 連続性プロファイルを動的に追跡する計算的に効率的な手法の開発。
• 既存のミニマックス最適なアルゴリズムを、計算的実行可能性を保ちつつ局所的適応性へと拡張すること。
• 今後のオンライン学習分野における研究のため、提案手法とブースティングフレームワークとの関係を探索すること。

提案手法

• アルゴリズムは、Hölder正則性を有する関数クラス上で効率的な計算を可能にする、コアとなるチェイニングツリー構造を用いる。
• 局所的滑らかさに基づいて最適な部分木を選択する適応的刈り込み機構を導入し、入力空間全体にわたる変化する Hölder プロファイルを追跡可能にする。
• パラメータフリーな枠組み内で勾配に基づく更新を活用し、一般の凸損失関数および exp-凸損失関数のもとでレグレットを最小化する。
• チェイニングの議論とツリーに基づく複雑度制御に裏付けられたレグレット解析により、ミニマックス下界と一致するタイトな上界が得られる。
• 各ツリーのノードが弱学習器として機能するように、メタ最適化プロセスとしてアルゴリズムを定式化し、弱学習器の反復的改善に類似した構造をとる。
• 一般関数クラス W からの弱学習器を適応的に集約する枠組みを提案し、spanN(W) 空間への一般化を提示する。

実験結果

リサーチクエスチョン

• RQ1 計算的に効率的なオンライン回帰アルゴリズムは、関数滑らかさの局所的変動に適応しつつ、ミニマックス最適なレグレットを達成できるか？
• RQ2 滑らかさパラメータの事前知識なしに、局所的 Hölder 連続性を反映するようにチェイニングツリーを動的に刈り込めるか？
• RQ3 一般の凸損失関数および exp-凸損失関数のもとで、このような適応的アルゴリズムの理論的レグレット境界は何か？
• RQ4 提案手法は、弱学習器による関数近似の反復的改善を模倣するブースティングプロセスとして定式化可能か？
• RQ5 α ≤ 1 である α-Hölder 空間を超えたより豊かな関数クラスへ拡張された場合、ミニマックス最適性は保持されるか？

主な発見

• 提案アルゴリズムは、凸損失関数に対して O(√LT) のミニマックス最適なレグレット境界を達成し、exp-凸損失関数に対しては O(min{√LT, L²/³T¹/³}) を達成する。これらの境界は既知の下界と一致する。
• 本アルゴリズムは、敵対的オンライン非パラメトリック回帰において、ミニマックス最適性、局所的適応性、計算的効率性の3つを同時に達成する最初のものである。
• チェイニングツリーの適応的刈り込みにより、局所的 Hölder プロファイルを追跡可能となり、入力空間の滑らかな部分領域においてより良いレグレットレートが得られる。
• 関数の正則性が定義域全体で変動しても、滑らかさパラメータ α ∈ (0,1] の事前知識がなくても、最適なレグレット保証が維持される。
• 数値実験により理論的利点が検証され、非 i.i.d. かつ局所的に滑らかなデータ列において、優れた性能が示された。
• 本フレームワークは、弱学習器の組み合わせを繰り返し行うブースティングと類似した新たな関係を示唆しており、関数近似の反復的改善がツリーの刈り込みを通じて実現されている。