[論文レビュー] Outside the Echo Chamber: Optimizing the Performative Risk

John A. Miller, Juan C. Perdomo+1 more|arXiv (Cornell University)|Feb 17, 2021

Neural dynamics and brain function参考文献 42被引用数 16

ひとこと要約

本稿では、予測が自身のデータ分布に影響を与えるperformative prediction設定において、直接的に性能リスクを最適化するフレームワークを導入する。性能リスクが凸になる条件（特に、性能効果がモデルの滑らかさと強い凸性に対して有界である場合）を同定することで、従来の手法よりも優れたサンプル効率を達成する、導関数フリーの最適化が可能になる。

ABSTRACT

In performative prediction, predictions guide decision-making and hence can influence the distribution of future data. To date, work on performative prediction has focused on finding performatively stable models, which are the fixed points of repeated retraining. However, stable solutions can be far from optimal when evaluated in terms of the performative risk, the loss experienced by the decision maker when deploying a model. In this paper, we shift attention beyond performative stability and focus on optimizing the performative risk directly. We identify a natural set of properties of the loss function and model-induced distribution shift under which the performative risk is convex, a property which does not follow from convexity of the loss alone. Furthermore, we develop algorithms that leverage our structural assumptions to optimize the performative risk with better sample efficiency than generic methods for derivative-free convex optimization.

研究の動機と目的

• 予測がデータ分布に影響を与える設定において、性能安定性を最適モデル性能の代理指標とするという制限を解消すること。
• 強い性能効果が存在する場合でも、性能リスクが凸になる条件を同定すること。
• 安定固定点への収束ではなく、性能リスクを直接最小化する効率的最適化アルゴリズムの開発。
• 分布シフトと損失関数の性質に関する構造的仮定を活用することで、導関数フリー最適化のサンプル効率を向上させること。

提案手法

• モデルが誘導する分布における期待損失として性能リスクを定義する：$\mathrm{PR}(\theta) = \mathbb{E}_{z \sim \mathcal{D}(\theta)}[\ell(z; \theta)]$。
• 分布マップ$\mathcal{D}(\cdot)$に対して、分布シフトが良好に制御されるよう、確率的優位性条件を導入する。
• 凸性の閾値を確立：性能リスクは$\varepsilon \leq \frac{\gamma}{2\beta}$を満たす場合に凸になる。ここで$\varepsilon$は$\mathcal{D}(\cdot)$のリプシッツ定数、$\gamma$は$\theta$における損失の強い凸性、$\beta$は$z$における滑らかさである。
• まずデータ分布の平均シフトを推定し、その後収集したデータを用いて代理最適化問題を解く2段階アルゴリズムを提案する。
• 導関数フリー最適化（DFO）およびグリーディ・ラージ・SGD手法を性能リスク設定に適応させ、特化したハイパーパramータとサンプリング戦略を採用する。
• 50回の試行におけるブートストラップ信頼区間を用いて、アルゴリズムとサンプルサイズごとのサブオプティマルティーガップと性能リスクを評価する。

実験結果

リサーチクエスチョン

• RQ1 強い性能効果が存在する場合でも、性能リスクが凸になる条件は何か？
• RQ2 性能安定固定点への収束に依存するのではなく、性能リスクをより効率的に最適化できるか？
• RQ3 性能効果の強さが性能リスクの凸性に与える影響は何か？
• RQ4 単に安定点に収束するのではなく、分布シフトを事前に予測するアルゴリズムを設計できるか？
• RQ5 構造的仮定のもとで、導関数フリー最適化手法を性能リスク最小化に適用した際のサンプル効率はどの程度か？

主な発見

• 分布マップ$\mathcal{D}(\cdot)$が$\varepsilon$-リプシッツかつ確率的優位性条件を満たす場合、$\varepsilon \leq \frac{\gamma}{2\beta}$を満たす限り、性能リスクは凸である。ここで$\gamma$と$\beta$は損失関数の強い凸性および滑らかさのパラメータである。
• 安定モデルは、真の最適モデルに対して、任意に大きなサブオプティマルティーガップを示す可能性がある。これは、安定性が性能リスク最小化の信頼できる代理指標ではないことを示している。
• 2段階アルゴリズムは、合成的および戦略的分類の両実験で、一般的なDFOおよびSGDベースラインよりも優れたサンプル効率を達成する。
• 戦略的分類設定において$\varepsilon = 0.0001$（閾値未満）の場合、性能リスクは凸のままであり、アルゴリズムは低サブオプティマルティーガップに収束する。
• $\varepsilon = 100$（閾値超過）の場合、性能リスクは非凸化し、すべてのアルゴリズムがより高いサブオプティマルティーガップを示す。理論的凸性閾値の妥当性が裏付けられる。
• グリーディおよびラージ・SGDの変種は、分布シフトの処理が優れているため、特にサンプル数が少ない状況でも、標準的DFOを上回る収束速度と安定性を示す。