[論文レビュー] Dynamical Models and Tracking Regret in Online Convex Programming

Eric C. Hall, Rebecca Willett|arXiv (Cornell University)|Jan 7, 2013

Advanced Bandit Algorithms Research被引用数 18

ひとこと要約

本稿では、動的モデルを統合することで、変動が激しいコンパレータ系列に対して低レジストを達成するオンライン凸最適化手法であるダイナミックミラー降下（DMD）を提案する。動的モデルの族の中で最良のモデルを追跡し、正則化を活用することで、コンパレータの最適モデルからの逸脱に比例してスケーリングする追跡レジストバウンドを達成し、従来手法と比較して非定常環境下での性能が顕著に向上する。

ABSTRACT

This paper describes a new online convex optimization method which incorporates a family of candidate dynamical models and establishes novel tracking regret bounds that scale with the comparator's deviation from the best dynamical model in this family. Previous online optimization methods are designed to have a total accumulated loss comparable to that of the best comparator sequence, and existing tracking or shifting regret bounds scale with the overall variation of the comparator sequence. In many practical scenarios, however, the environment is nonstationary and comparator sequences with small variation are quite weak, resulting in large losses. The proposed Dynamic Mirror Descent method, in contrast, can yield low regret relative to highly variable comparator sequences by both tracking the best dynamical model and forming predictions based on that model. This concept is demonstrated empirically in the context of sequential compressive observations of a dynamic scene and tracking a dynamic social network.

研究の動機と目的

• 非定常環境下で静的または区分定数のコンパレータに依存する既存のオンライン凸最適化手法の限界を解消すること。
• オンライン予測に動的モデルを統合するフレームワークを構築し、適応性と性能を向上させること。
• 既知または学習可能な動的モデルからのコンパレータ系列の逸脱に比例する、新しい追跡レジストバウンドを確立すること。
• 動的モデリングとスパarsity正則化を組み合わせることで、高次元かつデータが乏しい設定でも効果的な予測を可能にすること。
• バッチ手法とストリーミングデータの間のギャップを埋めるために、スケーラブルで適応可能なオンラインアルゴリズムを提供すること。

提案手法

• ステートフィルタリングのステート更新とオンライン凸最適化を統合したオンライン最適化アルゴリズムとして、ダイナミックミラー降下（DMD）を提案する。
• 時間変動する正則化項を用いたBregmanダイバージェンスに基づく更新則を用い、予測精度とモデルの滑らかさのバランスを図る。
• 候補となる動的モデルの族を組み込み、動的固定共有（DFS）バージョンでは固定共有機構を用いて最良のモデルを段階的に選択する。
• 時間変動するデータ適合項 $ f_t(\theta) $ と静的正則化項 $ r(\theta) $（例：スパarsity誘導型の $ \ell_1 $-ノルム）を組み合わせた複合損失関数を採用する。
• コンパレータ系列の最良の動的モデル軌道からの逸脱に依存するレジストバウンドを導出する。これは、全体の変動量だけでなく、モデルの逸脱に依存する。
• 強い凸性およびBregmanダイバージェンスの性質を用いてレジストをバウンドし、最適性条件と凸性から導かれる主要な不等式を用いる。

実験結果

リサーチクエスチョン

• RQ1 静的または区分定数の挙動を仮定するのではなく、動的モデルを活用することで、変動が激しいコンパレータ系列を追跡するオンライン凸最適化をどのように向上させられるか？
• RQ2 コンパレータ系列の総変動量ではなく、既知の動的モデルからの逸脱に比例する追跡レジストバウンドをどのように導出できるか？
• RQ3 高次元かつストリーミングデータで観測が限られる状況下で、動的モデルと正則化を統合することで、どの程度の性能向上が得られるか？
• RQ4 動的画像処理やソーシャルネットワーク追跡のような非定常環境下で、提案手法が古典的手法やバッチ最適化手法を上回る性能を示せるか？
• RQ5 候補モデルの族から最良の動的モデルを段階的に選択する仕組みが、実際のレジストと予測精度にどのように影響を与えるか？

主な発見

• ダイナミックミラー降下（DMD）アルゴリズムは、コンパレータ系列の最良の動的モデルからの逸脱に比例する追跡レジストバウンドを達成する。これは、コンパレータの全体的な変動量に依存するのではなく、最適モデルからの逸脱に依存する。
• 動的モデルが存在しない場合、レジストバウンドは従来のオンライン凸最適化で確立されたバウンドに簡略化される。
• 動的固定共有（DFS）アルゴリズムは、最良の動的モデルの系列からの逸脱に比例するレジストバウンドを達成し、時間経過に伴う適応的モデル選択を可能にする。
• 実験結果から、圧縮モーショントランス画像処理や動的ソーシャルネットワーク推定において、根本的な動的挙動が切り替わっても強力な追跡性能を示す。
• 動的モデリングと正則化を統合することで、ストリーミング、高次元、データが乏しい設定下で、古典的手法やバッチ手法を顕著に上回る性能を達成する。
• 理論的分析により、レジストバウンドが全体の経路変動量ではなく、モデルの不一致（最良モデルからの逸脱）に依存することを確認しており、非定常環境に適した性能を示す。