[논문 리뷰] Proxyeconomics, An agent based model of Campbell's law in competitive societal systems

Oliver Braganza|arXiv (Cornell University)|2018. 03. 01.

Auction Theory and Applications인용 수 3

한 줄 요약

이 논문은 경쟁적인 사회 시스템에서 공식 지표(예: 논문 수 또는 수익)가 진정한 목표에서 벗어나 왜곡된 행동으로 이어지는 방식을 시뮬레이션하기 위해 새로운 에이전트 기반 모델을 제안한다. 경제적 다중작업 이론과 경쟁 이론을 문화적 진화 이론과 융합함으로써, 모델은 지나친 지표 의존이 체계의 효율성과 목표 달성 능력을 떨어뜨리며, 특히 높은 경쟁과 측정 노이즈 상황에서 그러한 영향이 더욱 두드러진다는 것을 입증한다.

ABSTRACT

In many areas of society we rely on competition to better achieve societal goals. Ideally, competition motivates effort and efficiently allocates resources. However, due to imperfect information, competition generally depends on quantitative proxy measures in order to assess performance. This leads to an increasing use of such quantitative proxies in modern societies. Examples include: in science, the publication count of an author, in healthcare, the number of patients treated or in business, the profit achieved. Importantly, some practices may optimize proxy performance but not the actual societal goal. In such cases, individual decisions and cultural practices may shift away from the societal goal and toward the proxy. Such processes have been described by a law attributed to Charles Goodhart or Donald T. Campbell, most pithily phrased as: 'When a measure becomes a target it ceases to be a good measure.' While the original mentions of this law address policy determination or education respectively, we propose it applies to any competitive societal system: Any proxy measure in a competitive societal system becomes a target for the competing individuals (or groups). Here, we construct an agent based model to explore the basic components and dynamics of such a process. The model combines an effort incentivization mechanism from economic multitasking theory and contest theory with a slower process of cultural evolution.

연구 동기 및 목표

• 경쟁 시스템에서 정량적 지표에 대한 의존이 어떻게 비일관된 인centive와 목표 이탈을 초래하는지 조사하기.
• 개인적 노력, 경쟁, 성과 지표의 문화적 진화 간의 동적 상호작용을 모델링하기.
• 지표가 진정한 성과를 반영하지 못하고 오히려 비최적 행동을 유도하는 조건을 분석하기.
• 지표가 지표 그 자체가 되었을 때 '시스템을 유령적으로 조작하는' 행동이 어떻게 나타나는지 시뮬레이션하기.
• 과학, 헬스케어, 비즈니스와 같은 체계에서 지표 기반 평가가 장기적으로 사회적 목표 달성에 어떤 영향을 미치는지 평가하기.

제안 방법

• 에이전트 기반 시뮬레이션 프레임워크를 사용하여 다수의 지표를 사용하는 시스템에서 경쟁하는 개인(에이전트)을 표현한다.
• 에이전트는 경제적 다중작업 이론에 따라 다수의 성과 차원에 대해 노력이 할당되도록 유인된다.
• 경쟁 이론을 적용하여 지표 성과에 기반한 보상 획득 경쟁을 모델링함으로써 승자독식 동력을 재현한다.
• 문화적 진화 메커니즘을 통해 관찰된 성공에 기반해 에이전트의 행동과 규범이 점차 변화하도록 설계하여, 관행의 뿌리내림을 모델링한다.
• 측정 노이즈를 포함시켜 실제 세계의 데이터 오류를 반영함으로써 지표 평가의 불완전성을 시뮬레이션한다.
• 주요 변수로는 경쟁 강도, 지표의 신뢰성, 지표와 진정한 성과 목표 간의 일치도가 포함된다.

실험 결과

연구 질문

• RQ1 높은 개인적 노력에도 불구하고 지표가 비최적 행동을 유도하는 조건은 무엇인가?
• RQ2 측정 노이즈는 지표 성과와 실제 사회적 목표 간의 일치도에 어떤 영향을 미치는가?
• RQ3 문화적 진화가 시간이 지남에 따라 잘못된 지표의 사용을 강화하는 데 어떤 역할을 하는가?
• RQ4 경쟁 강도가 지표 기반 체계에서 목표 이탈 정도에 어떤 영향을 미치는가?
• RQ5 지표가 목표가 되었을 때 지표 유효성이 어떻게 붕괴되는지 모델이 어떻게 보여주는가?

주요 결과

• 모델은 지표가 목표가 되면, 노력이 높더라도 에이전트가 진정한 사회적 목표보다는 지표를 최적화하기 위해 행동함을 보여준다.
• 높은 경쟁은 시스템을 유령적으로 조작하는 경향을 심화시켜 지표 성과와 진정한 목표 달성 간의 괴리를 심화시킨다.
• 측정 노이즈는 지표의 신뢰성을 떨어뜨리며, 지표가 성과 지표로서의 유효성이 점점 약화되는 데 가속도를 준다.
• 문화적 진화는 결함이 있는 지표의 사용을 강화하여, 조건이 향상된 지표가 존재하더라도 이를 전환하는 데 어려움을 초래한다.
• 모델은 지표가 목표가 될수록 그 지표가 점점 더 정보를 제공하지 못함을 입증하며, 캄벨의 법칙이 시뮬레이션 환경에서 검증됨을 보여준다.
• 특히 경쟁 압박 하에서 지표가 진정한 목표와 일치하지 않으면, 높은 개인적 노력에도 불구하고 체계 전체의 성과가 악화됨을 보여준다.