[論文レビュー] Categorizing Variants of Goodhart's Law

David Manheim, Scott Garrabrant|arXiv (Cornell University)|Mar 13, 2018

Benford’s Law and Fraud Detection参考文献 1被引用数 8

ひとこと要約

この論文は、グッドハートの法則の4つの明確に異なるメカニズム——回帰的、極値的、因果的、敵対的——を分類し、それぞれが代理指標の最適化が真の目的を達成しない理由を説明する。統計的および因果的モデルを用いてこれらの効果を形式化し、最適化システムにおいてそれらが避けがたいものであり、特にAIの整合性と政策設計において極めて重要であることを示している。

ABSTRACT

There are several distinct failure modes for overoptimization of systems on the basis of metrics. This occurs when a metric which can be used to improve a system is used to an extent that further optimization is ineffective or harmful, and is sometimes termed Goodhart's Law. This class of failure is often poorly understood, partly because terminology for discussing them is ambiguous, and partly because discussion using this ambiguous terminology ignores distinctions between different failure modes of this general type. This paper expands on an earlier discussion by Garrabrant, which notes there are "(at least) four different mechanisms" that relate to Goodhart's Law. This paper is intended to explore these mechanisms further, and specify more clearly how they occur. This discussion should be helpful in better understanding these types of failures in economic regulation, in public policy, in machine learning, and in Artificial Intelligence alignment. The importance of Goodhart effects depends on the amount of power directed towards optimizing the proxy, and so the increased optimization power offered by artificial intelligence makes it especially critical for that field.

研究の動機と目的

• グッドハートの法則およびキャンベルの法則やコブラ効果といった関連現象を取り巻く曖昧で重複する用語の明確化を図ること。
• 代理指標に基づく最適化の4つの明確に異なる失敗モード（回帰的、極値的、因果的、敵対的グッドハート効果）を特定し、形式的に区別すること。
• これらの失敗モードが最適化システム内の統計的・因果的・戦略的ダイナミクスからどのように生じるかを示すこと。
• AIの整合性、公共政策、機械学習などの実世界の応用において、これらの効果を診断・緩和するためのフレームワークを提供すること。
• 高水準の最適化圧力下でこれらの効果のリスクが増大すること、特に人工知能システムにおいて顕著であることを強調すること。

提案手法

• システムを状態空間 $ S $ としてモデル化し、真の目的 $ G(s) $ と代理指標 $ M(s) $ を定義する。両者とも $ \mathbb{R} $ に写像する。
• 閾値 $ c $ を用いた選択圧力を導入し、選択に基づく失敗を分析するための集合 $ A = \{ s \in S \mid M(s) \geq c \} $ を定義する。
• 統計モデルを用いて回帰的グッドハートを形式化：$ M = G + \mathcal{N}(0, \sigma^2) $。ノイズのため、極端な $ M $ 値は $ G $ を系統的に過大評価することを示す。
• モデルの不十分性を用いて極値的グッドハートをモデル化：$ M = G(s_i) + G'(s_i) $。代理指標の正確性が分布外領域で崩壊することを示す。
• 共通原因や指標の操作といった介入によって因果構造が変化する場合を分析し、因果的グッドハートを検討する。
• エージェントと規制者との間の指標の不一致を用いて敵対的グッドハートをモデル化：$ M_A = G_A \cdot X $。エージェントが自らの目的に合致するように規制者の指標を操作する。

実験結果

リサーチクエスチョン

• RQ1 代理指標最適化が真の目的を達成しない際の、明確に異なる失敗モードとは何か？
• RQ2 回帰的、極値的、因果的、敵対的グッドハート効果は、それぞれどのような根本的メカニズムに基づいているか？
• RQ3 これらの効果は、実世界の最適化システムにおいて、どのように相互作用したり同時に発生したりするか？
• RQ4 高水準の最適化圧力下で、これらの効果はどのように顕著になるのか。特に人工知能システムにおいては？
• RQ5 エージェントのインcentivesと戦略的行動は、インcentiveに基づく規制においてグッドハート効果を悪化させる役割を果たすか？

主な発見

• ノイズのある指標を伴ういかなるシステムにおいても、回帰的グッドハートは避けがたい。極端な $ M $ 値は、常に真の目的 $ G $ よりも系統的に過大評価される。
• 極値的グッドハートは、最適化が代理指標と真の目的の関係が成立しなくなる領域にシステムを押し込む場合に生じる。特にモデルの不十分性や分布シフトに起因する。
• 因果的グッドハートは、規制行動や介入によって因果構造が変化し、元々の代理指標と目的の関係が崩壊する場合に発生する。
• 敵対的グッドハートは、エージェントが規制者の指標に合わせて戦略的に選択または操作することで生じる。その指標が自らの目的と相関がなくても成立する。
• コブラ効果は2つの形に分けることができる：通常型（エージェントによる因果的介入）と非因果型（エージェントによる選択圧がグッドハート効果を悪化させる）。両者とも形式的にモデル化可能である。
• これらの効果は理論的ではない。政策、機械学習、AIの整合性分野における一般的な失敗要因であり、特に人工知能において高水準の最適化力がそれらを顕著に強化する。