[論文レビュー] Prediction with expert evaluators' advice

Alexey Chernov, Vladimir Vovk|ArXiv.org|Feb 24, 2009

Advanced Bandit Algorithms Research参考文献 9被引用数 6

ひとこと要約

本稿では、各エキスパートが自身の時間的に変化する、かつ異なる損失関数を用いて学習者を評価する、新しい予測フレームワークを提案する。すべての損失関数が適切かつ混合可能である場合、防御的予測アルゴリズムが標準設定下でアグリゲーティング・アルゴリズムと同等の最適な性能保証を達成することを示し、重みの正規化と選択的重み更新を施した変更版アルゴリズムにより、専門家（スリーピング）の設定への拡張も行う。

ABSTRACT

We introduce a new protocol for prediction with expert advice in which each expert evaluates the learner's and his own performance using a loss function that may change over time and may be different from the loss functions used by the other experts. The learner's goal is to perform better or not much worse than each expert, as evaluated by that expert, for all experts simultaneously. If the loss functions used by the experts are all proper scoring rules and all mixable, we show that the defensive forecasting algorithm enjoys the same performance guarantee as that attainable by the Aggregating Algorithm in the standard setting and known to be optimal. This result is also applied to the case of "specialist" (or "sleeping") experts. In this case, the defensive forecasting algorithm reduces to a simple modification of the Aggregating Algorithm.

研究の動機と目的

• 標準的な予測におけるエキスパートの助言の枠組みの限界、すなわち、すべての比較に同一の固定損失関数が使用されるという点を是正すること。
• 各エキスパートが、自身のパーソナライズされた、時間的に変化する損失関数を用いて、学習者の性能を評価できることを可能にすること。
• 適切かつ混合可能な損失関数の下で、アグリゲーティング・アルゴリズムと同等の最適な性能保証を維持すること。
• すべてのエキスパートが各ステップで活性化されているわけではない専門家（スリーピング）エキスパートの設定にフレームワークを拡張すること。
• エキスパートの利用可能性に適応し、理論的性能境界を維持するように変更された防御的予測アルゴリズムを提供すること。

提案手法

• 各エキスパートが自身の損失関数を用いて学習者の性能を評価する新しいプロトコルを導入し、その損失関数は時間的に変化し、エキスパート間で異なっていてもよい。
• 防御的予測アルゴリズムを適用し、正規化された重みを用いてエキスパートの予測の重み付き平均に基づいて予測を選択する。
• 混合可能性から導かれる損失の指数関数の凸性条件を満たすように保証するための置換関数 Σ を使用する。
• 専門家（スリーピング）の設定では、学習者とエキスパートの損失の差分に基づき、現在アクティブなエキスパートの重みのみを更新する。
• 各ステップで、現在目覚めているエキスパートのみを対象として重みを正規化し、予測ルールの整合性を保つ。
• 混合可能性パrameter η に基づく性能保証を用い、学習者の累積損失が各エキスパートの損失から 1/η ln N 以内に収まるように保証する。

実験結果

リサーチクエスチョン

• RQ1 各エキスパートが自身の固有の、時間的に変化する損失関数を用いて評価する場合、学習者は各エキスパートと同等の性能を達成できるか？
• RQ2 損失関数が適切かつ混合可能であるが、エキスパート間で同一でない場合、防御的予測アルゴリズムはアグリゲーティング・アルゴリズムと同等の最適な性能保証を維持するか？
• RQ3 スリーピングエキスパート（各時刻に一部のエキスパートのみが活性化されている）の設定に対応するには、フレームワークをどのように変更すればよいか？
• RQ4 エキスパートの非活性化が生じる状況下でも、理論的性能境界を維持するために防御的予測アルゴリズムに必要な変更は何か？
• RQ5 損失関数が適切なスコアリングルールであり、かつ混合可能であっても、エキスパート間で異なる場合でも、防御的予測アルゴリズムの性能保証は保持されるか？

主な発見

• 防御的予測アルゴリズムは、標準設定下でアグリゲーティング・アルゴリズムと同等の性能保証を達成し、学習者の累積損失がすべてのエキスパート n とすべての t に対して L_t ≤ L_t^n + (1/η) ln N と有界になる。
• この保証は、すべてのエキスパートが使用する損失関数が適切なスコアリングルールであり、η-混合可能である場合に成立し、新しいプロトコル下での最適な性能を保証する。
• スリーピングエキスパートの設定では、防御的予測アルゴリズムは、目覚めているエキスパートの重みのみを更新する修正版に簡略化され、性能境界が維持される。
• 重みの正規化により、予測ルールの整合性を保つために、u_t^n = w_t^n / sum_{n∈A_t} w_t^n を用いる。
• 重み更新ルール w_t^n := w_{t-1}^n exp(η(λ(π_t, ω_t) - λ(γ_t^n, ω_t))) により、学習者に対して相対的に優れたエキスパート（より良い性能）は重みが増加し、劣るエキスパートは重みが減少する。
• このフレームワークは、二値でない出力、任意の予測空間、および可算無限個のエキスパートへ一般化可能であり、前提となる防御的予測手法が適用可能である限り有効である。