[논문 리뷰] Categorizing Variants of Goodhart's Law

David Manheim, Scott Garrabrant|arXiv (Cornell University)|2018. 03. 13.

Benford’s Law and Fraud Detection참고 문헌 1인용 수 8

한 줄 요약

이 논문은 고흐르트의 법칙의 네 가지 구체적인 메커니즘—재귀적, 극단적, 인과적, 대립적—을 분류하며, 각각이 보조 지표를 최적화할 때 진정한 목표를 달성하지 못하는 이유를 설명한다. 통계적 및 인과 모델을 사용해 이러한 영향을 정량화하여, 최적화 시스템에서 이들이 필수적으로 발생하며, 특히 인공지능 정렬과 정책 설계에서 매우 중요한 영향을 미친다는 것을 보여준다.

ABSTRACT

There are several distinct failure modes for overoptimization of systems on the basis of metrics. This occurs when a metric which can be used to improve a system is used to an extent that further optimization is ineffective or harmful, and is sometimes termed Goodhart's Law. This class of failure is often poorly understood, partly because terminology for discussing them is ambiguous, and partly because discussion using this ambiguous terminology ignores distinctions between different failure modes of this general type. This paper expands on an earlier discussion by Garrabrant, which notes there are "(at least) four different mechanisms" that relate to Goodhart's Law. This paper is intended to explore these mechanisms further, and specify more clearly how they occur. This discussion should be helpful in better understanding these types of failures in economic regulation, in public policy, in machine learning, and in Artificial Intelligence alignment. The importance of Goodhart effects depends on the amount of power directed towards optimizing the proxy, and so the increased optimization power offered by artificial intelligence makes it especially critical for that field.

연구 동기 및 목표

• 고흐르트의 법칙과 캄벨의 법칙, 코ブラ 효과와 같은 관련 현상들 주변의 모호하고 겹치는 용어를 명확히 하기 위해.
• 보조 지표 기반 최적화의 네 가지 구체적인 실패 유형—재귀적, 극단적, 인과적, 대립적 고흐르트 효과—를 식별하고 공식적으로 구분하기 위해.
• 이러한 실패 유형이 최적화 시스템 내 통계적, 인과적, 전략적 역학에서 어떻게 발생하는지 설명하기 위해.
• 실제 적용 분야인 인공지능 정렬, 공공 정책, 기계학습에서 이러한 효과를 진단하고 완화하기 위한 프레임워크를 제공하기 위해.
• 높은 최적화 압력 하에서 이러한 효과의 위험이 증가함을 강조하기 위해, 특히 인공지능 시스템에서 그러한 경향이 더욱 두드러짐.

제안 방법

• 시스템을 상태 공간 $ S $로 모델링하며, 진정한 목표 $ G(s) $와 보조 지표 $ M(s) $를 정의함. 둘 다 $ \mathbb{R} $로 사상함.
• 임계값 $ c $ 를 통한 선택 압력을 도입하여, 선택 기반 실패를 분석하기 위해 집합 $ A = \{ s \in S \mid M(s) \geq c \} $ 를 정의함.
• 통계 모델을 사용해 재귀적 고흐르트 효과를 정량화: $ M = G + \mathcal{N}(0, \sigma^2) $, 노이즈로 인해 극단적인 $ M $ 값은 항상 진정한 목표 $ G $ 를 과대평가함을 보여줌.
• 모델 부족성에 기반해 극단적 고흐르트 효과를 모델링: $ M = G(s_i) + G'(s_i) $, 보조 지표의 정확도가 분포 외부 영역에서 붕괴됨.
• 공통 원인 또는 지표 조작과 같은 간섭을 통해 인과적 고흐르트 효과를 분석함.
• 에이전트-규제자 간의 지표 불일치를 사용해 대립적 고흐르트 효과를 모델링: $ M_A = G_A \cdot X $, 에이전트가 규제자의 지표를 악용해 자신의 목표에 맞게 행동함.

실험 결과

연구 질문

• RQ1 보조 지표 최적화가 진정한 목표를 달성하지 못할 수 있는 구체적인 실패 유형은 무엇인가?
• RQ2 재귀적, 극단적, 인과적, 대립적 고흐르트 효과는 그 기반이 되는 메커니즘에서 어떻게 다를까?
• RQ3 이러한 효과들이 실제 최적화 시스템에서 어떻게 상호작용하거나 동시에 발생할 수 있는가?
• RQ4 높은 최적화 압력 하에서 이러한 효과들이 특히 인공지능 시스템에서 어떻게 악화되는가?
• RQ5 에이전트의 인centives와 전략적 행동이 인centive 기반 규제에서 고흐르트 효과를 악화시키는 데 어떤 역할을 하는가?

주요 결과

• 노이즈가 있는 지표를 가진 모든 시스템에서 재귀적 고흐르트 효과는 피할 수 없다: 보조 지표의 극단적 값은 항상 진정한 목표에 비해 체계적으로 과대평가된다.
• 극단적 고흐르트 효과는 최적화가 시스템을 보조 지표-진정한 목표 관계가 성립하지 않는 영역으로 몰아넣을 때 발생하며, 특히 모델의 부족성 또는 분포 이탈로 인해 발생한다.
• 인과적 고흐르트 효과는 규제 조치나 간섭이 인과적 구조를 변화시켜 원래의 보조 지표-진정한 목표 관계를 파괴할 때 발생한다.
• 대립적 고흐르트 효과는 에이전트가 규제자의 지표를 전략적으로 선택하거나 조작하여 자신의 목표와 일치시키지만, 그 지표가 자신의 목표와 상관관계가 없더라도 발생한다.
• 코브라 효과는 두 가지 형태로 나눌 수 있다: 정상적(에이전트의 인과적 간섭), 비인과적(에이전트의 선택 압력이 고흐르트 효과를 악화시킴), 둘 다 공식적으로 모델링 가능하다.
• 이러한 효과들은 순수 이론적 개념이 아니며, 정책, 기계학습, 인공지능 정렬 분야에서 흔히 발생하는 실패의 근본 원인이며, 특히 인공지능에서 높은 최적화 능력이 이들을 악화시킨다.