[論文レビュー] Performative Prediction: Past and Future

Moritz Hardt, Celestine Mendler-Dünner|arXiv (Cornell University)|Oct 25, 2023

Complex Systems and Time Series Analysis被引用数 4

ひとこと要約

本稿は、機械学習の予測が、それ自体が予測しようとしているデータに影響を与える仕組みを形式的枠組みとして導入する。これにより、結果を変化させるフィードバックループが生じ、その結果、予測の影響が自己実現的または自己否定的になる。均衡概念を確立し、学習と誘導の区別をなすとともに、予測の影響力を測る指標として「パフォーマティブパワー」を導入し、デジタル市場におけるアルゴリズムシステムの最適化とガバナンスの新たな知見を提供する。

ABSTRACT

Predictions in the social world generally influence the target of prediction, a phenomenon known as performativity. Self-fulfilling and self-negating predictions are examples of performativity. Of fundamental importance to economics, finance, and the social sciences, the notion has been absent from the development of machine learning that builds on the static perspective of pattern recognition. In machine learning applications, however, performativity often surfaces as distribution shift. A predictive model deployed on a digital platform, for example, influences behavior and thereby changes the data-generating distribution. We discuss the recently founded area of performative prediction that provides a definition and conceptual framework to study performativity in machine learning. A key element of performative prediction is a natural equilibrium notion that gives rise to new optimization challenges. What emerges is a distinction between learning and steering, two mechanisms at play in performative prediction. Steering is in turn intimately related to questions of power in digital markets. The notion of performative power that we review gives an answer to the question how much a platform can steer participants through its predictions. We end on a discussion of future directions, such as the role that performativity plays in contesting algorithmic systems.

研究の動機と目的

• 予測がデータ生成プロセスを変化させるという機械学習におけるパフォーマティビティを形式化し、従来の不変データの仮定に挑戦すること。
• 社会的システムにおける予測の根本的問題に取り組み、予測が行動に影響を及ぼす（例：レコメンデーションシステムや交通ルーティング）ことで、自己実現的または自己否定的結果が生じることを明らかにすること。
• パフォーマティブ予測における二つのメカニズム、すなわち「学習」（現在のデータに適合する）と「誘導」（モデルの導入によって将来のデータ分布を形作る）の区別をなすこと。
• プラットフォームの予測による結果への影響力を測る指標としてのパフォーマティブパワーを定義・定量化し、独占禁止法や規制分析に役立てる。
• パフォーマティビティが集団的行動とアルゴリズムガバナンスに果たす役割を検討し、個々の予測を超えて、社会的ダイナミクスのシステム的側面にまで拡張すること。

提案手法

• パフォーマティブリスクの定式化を提案：PR(θ) = Risk(θ, D(θ₀)) + [Risk(θ, D(θ)) − Risk(θ, D(θ₀))], これにより現在のパフォーマンスと誘導効果が分離される。
• パフォーマティブ均衡を固定点として定義し、θ = R(θ) を満たす予測θを想定することで、GMS定理（Grunberg, Modigliani, Simon）を機械学習に一般化し、フィードバック下での一貫性を保証する。
• パフォーマティブ均衡を求めるためのモデルフリーおよびモデルベースの最適化アプローチを区別し、収束性と安定性を分析する。
• パフォーマティブパワーを、モデルの予測がデータ分布をどれほどシフトできるかとして形式的に定義し、デジタル市場における影響力の測定に役立てる。
• アルゴリズム的集団行動への適用を通じて、パフォーマティブパワーが共通の予測に影響を受けるエージェント間の協調的行動を可能にすることを示す。
• 安定性、収束性、戦略的行動の分析に、最適化、統計、制御理論の道具を用いる。

実験結果

リサーチクエスチョン

• RQ1 予測が予測しようとしている結果に影響を与える場合、どのような条件下で予測が自己実現的または自己否定的になるか？
• RQ2 予測がデータ生成プロセスを変化させる機械学習システムにおいて、安定した均衡を定義・計算する方法は何か？
• RQ3 データからの学習と、モデルの導入によるデータ分布の誘導の違いは何か？ 両者は予測性能にどのように寄与するか？
• RQ4 パフォーマティブパワーを形式的に測定し、デジタルプラットフォームにおける市場優位性や規制リスクの評価にどのように応用できるか？
• RQ5 パフォーマティビティはアルゴリズムシステムにおける集団的行動をどのように促進または制限するか？ そして、そのメカニズムを数学的にモデル化するにはどうすればよいか？

主な発見

• パフォーマティブリスクの定式化により、現在のパフォーマンスと誘導による潜在的利得が分離され、最適なモデルが即時の正確性よりも影響力を優先する可能性があることが示された。
• パフォーマティブ均衡は、予測θがθ = R(θ)を満たす固定点として存在し、GMS定理を機械学習に一般化することで、フィードバック下でも一貫性が保証される。
• 学習と誘導の区別により、モデルの導入が単なる統計的フィットではなく、戦略的介入であることが明らかになった。
• パフォーマティブパワーは、モデルがデータ分布をどれほどシフトできるかとして形式的に定義され、デジタル市場における影響力の測定可能な指標を提供する。
• この枠組みにより、パフォーマティビティがアルゴリズムシステムにおける集団的行動を可能にすることが明らかになった。共通の予測に応じてエージェントが協調的に行動する仕組みが存在する。
• 本稿では、現在の形式的枠組みがHackingのループ効果や経済理論そのもののパフォーマティビティを完全に捉えられていないという限界を特定し、今後の研究の方向性を示唆している。