[論文レビュー] Stochastic Optimization for Performative Prediction

Celestine Mendler-Dünner, Juan C. Perdomo+2 more|arXiv (Cornell University)|Jun 12, 2020

Stochastic Gradient Optimization Techniques被引用数 9

ひとこと要約

本稿では、モデルの導入がデータ分布をシフトさせるperformative predictionにおける確率的最適化を提案する。greedy deploy（各サンプルごとに更新・導入）とlazy deploy（複数回の更新後に導入）の2つの戦略を分析し、収束速度がそれぞれO(1/k)およびO(1/k^α)であることを証明した。性能は、performativityの強さと導入コストに依存する。

ABSTRACT

In performative prediction, the choice of a model influences the distribution of future data, typically through actions taken based on the model's predictions. We initiate the study of stochastic optimization for performative prediction. What sets this setting apart from traditional stochastic optimization is the difference between merely updating model parameters and deploying the new model. The latter triggers a shift in the distribution that affects future data, while the former keeps the distribution as is. Assuming smoothness and strong convexity, we prove rates of convergence for both greedily deploying models after each stochastic update (greedy deploy) as well as for taking several updates before redeploying (lazy deploy). In both cases, our bounds smoothly recover the optimal $O(1/k)$ rate as the strength of performativity decreases. Furthermore, they illustrate how depending on the strength of performative effects, there exists a regime where either approach outperforms the other. We experimentally explore the trade-off on both synthetic data and a strategic classification simulator.

研究の動機と目的

• モデルの選択がデータ分布を変化させるオンライン確率的最適化の文脈におけるモデル導入の課題に取り組む。
• performative predictionの文脈で、頻繁な導入（greedy）と稀な導入（lazy）の間のトレードオフを形式化する。
• 滑らかさ、強い凸性、およびLipschitz連続な分布写像の下で、greedyおよびlazy deployの理論的収束保証を確立する。
• performativityの強さと導入コストが最適な導入戦略に与える影響を調査する。
• 合成データおよび戦略的分類シミュレータを用いて理論的知見を実証的に検証する。

提案手法

• モデルの導入が分布を変化させるフィードバックループとしてperformative predictionを定式化する：モデルθを導入すると分布はD(θ)にシフトし、これにより将来のリスク最小化に影響を与える。
• 固定点としてのperformative stabilityを定義する：θ ∈ argmin_θ′ E_{z∼D(θ)} ℓ(z;θ′) であり、これはモデルが自己の誘導する分布上で最適であることを保証する。
• 2つの変種を提案する：greedy deploy（n(k) = 1）とlazy deploy（n(k) ≥ 1、α > 0に対してk^αとして選択）、ここでn(k)は導入までの確率的更新回数を表す。
• 損失関数の滑らかさと強い凸性、および分布写像D(·)のWasserstein距離におけるLipschitz連続性を仮定する。
• 期待リスクの減少を分析することで収束速度を導出し、greedy deployではO(1/k)、lazy deployではO(1/k^α)の収束速度が、サンプル予算制約下で成立することを示した。
• 理論的境界に従ってステップサイズを調整し、performativityの強さεと条件数γ/βに応じて調整する。

実験結果

リサーチクエスチョン

• RQ1 モデル導入が分布シフトを引き起こすオンライン設定において、確率的勾配法はperformative stabilityに収束するか？
• RQ2 performativityの強さが異なる条件下で、greedyとlazy導入の選択が収束速度と安定性に与える影響は何か？
• RQ3 収束時間と導入回数を最小化する最適な導入スケジュール（すなわち、導入までの更新回数）は何か？
• RQ4 理論的収束速度は、分布写像のLipschitz定数と損失関数の条件数にどのように依存するか？
• RQ5 理論的境界は、合成データおよび実世界の戦略的分類設定において、実証的に検証可能か？

主な発見

• greedy deployは、滑らかさ、強い凸性、および十分にLipschitz連続な分布写像の下で、O(1/k)の収束速度でperformative stabilityに収束する。
• lazy deployは、任意のα > 0に対してO(1/k^α)の収束速度を達成可能であり、導入間でO(k^{1.1α})のサンプルを収集すればよい。
• performativityが弱い場合（ε ≪ γ/β）、greedy deployは収束速度が速いため、lazy deployを上回る。
• performativityが強い場合（ε ≫ γ/β）、lazy deployはgreedy deployを著しく上回り、特にαが大きい場合に顕著である。
• ε = 100の戦略的分類シミュレータにおいて、α = 1のlazy deployは収束速度および導入効率の両面でgreedy deployを上回る。
• lazy deployにおけるαの増大は、導入回数を最大90％まで削減しつつ、高performativity領域では収束速度を維持または向上させる。