[論文レビュー] A Generalized Online Algorithm for Translation and Scale Invariant Prediction with Expert Advice

Kaan Gökcesu, Hakan Gökcesu|arXiv (Cornell University)|Sep 9, 2020

Advanced Bandit Algorithms Research参考文献 30被引用数 7

ひとこと要約

本稿では、専門家の損失の平行移動やスケーリングに依存しない2次レジーットバウンドを達成する一般化されたオンラインアルゴリズムを提示する。同様の戦略を同値類でグループ化し、普遍的な予測フレームワークを適用することで、損失系列の事前知識がなくても、任意の専門家選択戦略に対して効率的に競争可能であり、敵対的環境下でもロバストでスケーラブルであることを保証する。

ABSTRACT

In this work, we aim to create a completely online algorithmic framework for prediction with expert advice that is translation-free and scale-free of the expert losses. Our goal is to create a generalized algorithm that is suitable for use in a wide variety of applications. For this purpose, we study the expected regret of our algorithm against a generic competition class in the sequential prediction by expert advice problem, where the expected regret measures the difference between the losses of our prediction algorithm and the losses of the 'best' expert selection strategy in the competition. We design our algorithm using the universal prediction perspective to compete against a specified class of expert selection strategies, which is not necessarily a fixed expert selection. The class of expert selection strategies that we want to compete against is purely determined by the specific application at hand and is left generic, which makes our generalized algorithm suitable for use in many different problems. We show that no preliminary knowledge about the loss sequence is required by our algorithm and its performance bounds, which are second order, expressed in terms of sums of squared losses. Our regret bounds are stable under arbitrary scalings and translations of the losses.

研究の動機と目的

• 専門家の損失の平行移動およびスケーリングに不変である、完全にオンラインで一般化された予測のためのアルゴリズム的フレームワークを構築すること。
• 損失系列の事前知識がなくても、動的または変化する戦略を含む任意の専門家選択戦略に対して、指数的計算コストを伴わずに効率的に競争できること。
• レジーットバウンドを2次統計量（損失の二乗和）にのみ依存させるように導出することで、多様な応用分野にわたる安定性と普遍性を確保すること。
• 損失範囲や損失系列に関する統計的仮定の事前知識が不要になるようにすること。
• 同値類に類似した戦略をグループ化することで、複雑な戦略クラスに対してスケーラブルかつ取り扱いやすい方法を提供すること。

提案手法

• アルゴリズムは、応用文脈に応じて定義される一般的な専門家選択戦略の競合クラスに対して、普遍的な予測の視点から競争する。
• 同値類を導入して、類似した行動を示す戦略をグループ化し、計算複雑度を指数的から取り扱い可能なスケールに削減する。
• コアメカニズムとして、損失の分散と範囲に基づいて動的に更新される重みを用いた重み付き平均を採用し、損失の任意のスケーリングおよびシフトに対して安定性を確保する。
• レジーット解析は、損失の二乗和と各ラウンドにおける最大損失範囲を含む2次バウンドに根ざしている。
• 損失系列の事前知識に基づくチューニングが不要な、パラメータフリーな設計を採用する。
• 戦略状態間の遷移をモデル化するために変換関数 $ T(\lambda_{t+1}|\lambda_t) $ を適用し、固定の移動率を持つような変化する戦略の追跡を可能にする。

実験結果

リサーチクエスチョン

• RQ1 専門家の損失の平行移動やスケーリングに不変な、レジーットバウンドを達成するオンラインアルゴリズムを設計できるか？
• RQ2 指数的計算コストを伴わず、広範な専門家選択戦略クラスに対して効率的に競争できるアルゴリズムはどのように実現できるか？
• RQ3 損失系列に関する事前知識が得られない状況下で、このようなアルゴリズムに対してどのような性能保証を得られるか？
• RQ4 損失分布に関する仮定なしに、完全にオンラインかつ普遍的な形で2次レジーットバウンドを達成できるか？
• RQ5 変化する戦略に対して競合性能を維持しつつ、冗長性を最小限に抑える同値類の構築方法は何か？

主な発見

• アルゴリズムは、平行移動およびスケーリングに不変な2次レジーットバウンドを達成し、損失の二乗和と最大損失範囲にのみ依存する。
• レジーットバウンドは $ W_T D_T + 2.4 \sqrt{W_T V_T^*} $ として表現され、ここで $ W_T $ は重みの複雑度、$ D_T $ は総損失範囲、$ V_T^* $ は損失分散の和である。
• 固定移動率を持つ戦略に対して競合する場合、バウンドは $ (1 + 2\log M) D_T + 2.4 \sqrt{(1 + 2\log M) V_T^*} $ に簡略化され、$ M $ が専門家の数、$ T $ がラウンド数である。
• 同値類に戦略をグループ化することで、ナイーブなアプローチの $ M^T $ の爆発的増加を回避し、複雑な戦略クラスに対するスケーラブルな競合を可能にする。
• 損失が敵対的または非定常的であっても、アルゴリズムは有効に機能する。これは、損失系列に統計的仮定を必要としないためである。
• パラメータフリーであり、損失範囲や分散の事前知識が不要であるため、多様な応用分野に普遍的に適用可能である。