[논문 리뷰] Asymptotic Behavior of Bayesian Learners with Misspecified Models

Ignacio Esponda, Demián Pouzo외 1명|arXiv (Cornell University)|2019. 04. 18.

Decision-Making and Behavioral EconomicsDecision Sciences참고 문헌 42인용 수 19

한 줄 요약

이 논문은 환경에 대해 잘못된 모델을 사용하는 베이지안 에이전트의 장기적 행동을 분석하기 위한 일반적 프레임워크를 개발한다. 행동 빈도의 동역학을 일반화된 미분방정식과 연결함으로써, 거의 확실히 안정한 평형점으로의 수렴을 특성화하며, 모델 오류가 있는 경제적 학습에서 지속적인 편향을 예측하는 통합 도구를 제공한다.

ABSTRACT

We consider an agent who represents uncertainty about the environment via a possibly misspecified model. Each period, the agent takes an action, observes a consequence, and uses Bayes' rule to update her belief about the environment. This framework has become increasingly popular in economics to study behavior driven by incorrect or biased beliefs. Current literature has characterized asymptotic behavior under fairly specific assumptions. By first showing that the key element to predict the agent's behavior is the frequency of her past actions, we are able to characterize asymptotic behavior in general settings in terms of the solutions of a generalization of a differential equation that describes the evolution of the frequency of actions. We then present a series of implications that can be readily applied to economic applications, thus providing off-the-shelf tools that can be used to characterize behavior under misspecified learning.

연구 동기 및 목표

• 실제 세계에 대해 잘못된 모델을 가진 베이지안 에이전트의 장기적 행동을 이해하는 것.
• 반복적인 피드백이 존재함에도 지속적인 편향으로 이어지는 조건을 규명하는 것.
• 기존의 수렴 결과를 특정한 제약이 있는 모델 가정을 초월해 일반화하는 것.
• 모델 오류가 있는 경제적 응용에서의 점근적 행동을 체계적으로 예측하는 방법을 제공하는 것.
• 행동 빈도가 장기적 신뢰도 및 행동 동역학을 결정하는 데 미치는 역할을 특성화하는 것.

제안 방법

• 저자는 에이전트의 학습 과정을 잘못된 통계 모델 하에서의 베이지안 업데이트 메커니즘으로 모델링한다.
• 그들은 신뢰도와 행동의 점근적 행동이 행동 자체가 아니라 과거 행동의 빈도에 의해 결정됨을 보여준다.
• 행동 빈도의 시간에 따른 변화를 기술하기 위해 일반화된 미분방정식을 유도한다.
• 이 프레임워크는 행동 빈도 공간 내의 안정 집합 개념을 사용하여 장기적 수렴을 예측한다.
• 핵심 도구로는 약한 식별성, 최적 반응 대응의 상한 연속성, 그리고 베이지안 업데이트의 마틴게일 성질을 사용한다.
• 정점 평형점, 밀려나는 평형점, 경계 사례(예: 일정한 신뢰도가 유지되는 구간)를 구분하며, 위상적 및 동적 안정성 개념을 활용한다.

실험 결과

연구 질문

• RQ1 모델 오류가 있는 베이지안 에이전트가 안정적인 장기적 행동으로 수렴하는 조건은 무엇인가?
• RQ2 과거 행동의 빈도는 신뢰도와 행동의 점근적 진화에 어떻게 영향을 미치는가?
• RQ3 반복적인 피드백이 있음에도 지속적인 편향이 발생하는 이유는 무엇이며, 그 방향은 무엇에 의해 결정되는가?
• RQ4 모델 오류가 있는 학습 모델에서 장기적 평형점의 집합은 어떻게 특성화되며, 그 중에서 안정적인 것은 무엇인가?
• RQ5 일반적인 경제적 설정에서 모델 오류가 있을 경우, 신뢰도와 행동의 수렴을 어떻게 예측할 수 있는가?

주요 결과

• 신뢰도의 수열은 거의 확실히, 안정 평형점에 해당하는 매개변수 값에 중심을 둔 딜라르 측도로 수렴한다.
• 평형점이 안정적이라면 행동 빈도는 거의 확실히, 한정된 신뢰도 하에서 최적인 순수 행동으로 수렴한다.
• 비엄격한 평형점과 관련된 수평 세그먼트의 끝점은, 평형점의 비엄격성으로 인해 수렴한계로 간주되지 않는다.
• 수평 세그먼트의 내부 점 또는 일정한 신뢰도 영역에 해당하는 평형점(사례 3 및 4)은 안정적이며, 거의 확실히 실현된다.
• 한계 신뢰도는 장기적 행동 빈도와 일치하며, 최적 반응 대응의 상한 연속성으로 인해 가치 함수는 극한에서 연속적이다.
• 장기적 행동 빈도의 집합은 공통된 신뢰도 하에서의 이른바 ‘미래의 최적 반응’ 집합에 포함되며, 이는 최종 행동의 안정성을 암시한다.