[論文レビュー] How to Learn when Data Reacts to Your Model: Performative Gradient Descent

Zachary Izzo, Lexing Ying+1 more|arXiv (Cornell University)|Feb 15, 2021

Reinforcement Learning in Robotics参考文献 25被引用数 11

ひとこと要約

この論文は、モデルパラメータの変化がデータ分布に与える影響を明示的にモデル化することで、逐次的最適モデルに実際に収束することを保証する新しいアルゴリズム、Performance Gradient Descent (PerfGD) を導入する。従来の手法が部分的最適なパフォーマンス安定点に収束するのに対し、PerfGD はパrametricな仮定のもとでより正確な勾配推定値を計算し、実験では性能損失が著しく低減される—回帰タスクでは最大10倍の低減が達成された。

ABSTRACT

Performative distribution shift captures the setting where the choice of which ML model is deployed changes the data distribution. For example, a bank which uses the number of open credit lines to determine a customer's risk of default on a loan may induce customers to open more credit lines in order to improve their chances of being approved. Because of the interactions between the model and data distribution, finding the optimal model parameters is challenging. Works in this area have focused on finding stable points, which can be far from optimal. Here we introduce performative gradient descent (PerfGD), which is the first algorithm which provably converges to the performatively optimal point. PerfGD explicitly captures how changes in the model affects the data distribution and is simple to use. We support our findings with theory and experiments.

研究の動機と目的

• 既存手法が真のパフォーマンス最適点ではなく、パフォーマンス安定点に収束するという限界を解消すること。
• モデルの導入に伴う分布シフトの課題に取り組むこと。これは、個人やシステムがモデルの予測に応じて行動を変えることによるものである。
• パフォーマンス損失を直接的目標として扱う、実用的かつ理論的根拠を持つ最適化アルゴリズムを開発すること。
• データ生成プロセスに関する現実的な仮定のもとで、収束性および勾配推定の正確性に関する理論的保証を提供すること。
• 実験的に、PerfGD が分類および回帰の両設定において、反復勾配降下法（RGD）や反復リスク最小化（RRM）といった既存のベースラインを上回ることを示すこと。

提案手法

• モデルパラメータに依存する、導入されたデータ分布におけるデプロイドモデルの期待損失としてパフォーマンス損失を形式化する。
• モデルパラメータから誘導されるデータ分布への微分可能な写像を用いて、分布シフトをモデル化し、修正された勾配推定値を導出する。
• 分布シフトのパラメトリック近似（例：線形または二次的依存）を用いて、分布写像のモデルパラメータに関する微分を推定する。
• 有限差分法または解析的導出を用いて、データ分布がモデルパラメータの変化にどのように感度反応するかを推定する。
• 修正された勾配を標準的な勾配降下フレームワークに統合し、パフォーマンス勾配を用いて繰り返しモデルパラメータを更新する PerfGD を得る。
• 損失関数および分布写像の滑らかさと有界性を仮定することで理論的収束を保証し、これらの条件下で PerfGD がパフォーマンス最適点に収束することを証明する。

実験結果

リサーチクエスチョン

• RQ1 パフォーマンス安定点ではなく、真のパフォーマンス最適点に収束する最適化アルゴリズムを設計できるか？
• RQ2 データ分布がモデルパラメータに依存する状況で、パフォーマンス勾配を正確に推定する方法は何か？
• RQ3 分布シフトに関する現実的な仮定のもとで、最適解への収束に関する理論的保証はどのようなものか？
• RQ4 PerfGD は、RGD や RRM といった既存手法と比較して、パフォーマンス損失および収束挙動の面でどのように異なるか？
• RQ5 パフォーマンス安定点がパフォーマンス最適点から著しく逸脱する状況はどのようなものか？また、PerfGD はそのギャップを効果的に埋められるか？

主な発見

• 損失関数および分布写像の滑らかさと有界性の仮定のもとで、PerfGD はパフォーマンス最適点に実際に収束することが保証される。
• パフォーマンスロジスティック回帰の設定では、反復勾配降下法（RGD）と比較して、PerfGD はパフォーマンス損失を約9%低減する。
• パフォーマンス線形回帰の設定では、PerfGD は RGD や RRM と比較して、パフォーマンス損失を1桁以上低減する。
• RGD や RRM はパフォーマンス安定点に収束するが、これは最適解から大きく離れていることがある。一方、PerfGD は滑らかに真の最適解に収束する。
• PerfGD における改善された勾配推定値のおかげで、RRM が収束しないような状況でも安定した収束が達成される。
• 実験結果から、パフォーマンス安定点は、特に分布シフトが強く非線形である場合には最適解の良い代理にならないことが確認された。