[논문 리뷰] When more information reduces the speed of learning

Matan Harel, Elchanan Mossel외 2명|arXiv (Cornell University)|2014. 12. 22.

Game Theory and Applications참고 문헌 41인용 수 7

한 줄 요약

이 논문은 베이지안 에이전트 간의 상호작용 증가가 사전 신호를 수신하더라도 학습 속도를 저하시킬 수 있음을 보여준다. 둘 다 상대방의 행동을 관찰할 경우, 잘못된 행동에 대해 일치된 견해를 형성할 수 있으며, 이로 인해 새로운 증거를 무시하게 되어, 한 방향 관찰보다 훨씬 느린 학습 속도로 이어진다.

ABSTRACT

Abstract. We consider two Bayesian agents who learn from exogenously provided private signals, as well as the actions of the other. Our main finding is that increased interaction between the agents can lower the speed of learning: when both agents observe each other, learning is significantly slower than it is when one only observes the other. This slowdown is driven by a process in which a consensus on the wrong action causes the agents to discount new contrary evidence.

연구 동기 및 목표

• 상호 정보 공유가 베이지안 에이전트의 학습 속도에 미치는 영향을 분석하기.
• 상호작용이 사회적 추론 환경에서 학습을 방해할 수 있는지 여부를 조사하기.
• 에이전트가 신호와 상대방의 행동을 모두 관찰할 때 신념 갱신의 역학을 모델링하기.
• 틀린 행동에 대한 일치된 견해가 진리에의 수렴 속도를 떨어뜨리는 조건을 특정하기.

제안 방법

• 개별 신호와 상대 에이전트의 행동을 관찰함으로써 신념을 갱신하는 두 베이지안 에이전트를 모델링한다.
• 베이지안 갱신을 사용하여 신호와 관찰된 행동 기반으로 사후 신념을 계산한다.
• 에이전트가 올바른 행동으로 수렴하는 속도를 측정함으로써 학습 속도를 분석한다.
• 한 방향 관찰(A가 B를 관찰함)과 상호 관찰(A와 B가 상호 관찰함)의 두 시나리오를 비교한다.
• 초기 잘못된 행동에 대한 일치된 견해가 어떻게 새로운 증거를 무시하게 만드는지 메커니즘을 규명한다.
• 스토하스틱 안정성과 渐近 분석을 활용하여 장기적 학습 성능을 평가한다.

실험 결과

연구 질문

• RQ1 에이전트 간의 상호 관찰이 항상 학습 속도를 향상시키는가, 아니면 속도를 저해할 수 있는가?
• RQ2 양쪽 에이전트가 서로의 행동을 관찰할 경우 학습 속도가 왜 저하되는가?
• RQ3 초기 잘못된 행동에 대한 일치된 견해가 학습 속도에 어떤 영향을 미치는가?
• RQ4 언제 한 방향 관찰이 상호 관찰보다 더 빠른 수렴을 이끌어내는가?
• RQ5 새로운 반대 증거의 무시가 학습 속도 저하를 설명할 수 있는가?

주요 결과

• 에이전트 간의 상호작용 증가는 직관적으로 정보가 많아지면 학습이 빨라질 것이라는 데 반해, 학습 속도를 감소시킬 수 있다.
• 양쪽 에이전트가 서로를 관찰할 경우, 초기에 잘못된 행동에 대한 일치된 견해를 형성할 가능성이 더 높다.
• 이 일치된 견해로 인해 공통된 신념과 모순되는 새로운 증거를 체계적으로 무시하게 된다.
• 상호 관찰 하에서는 한 방향 관찰보다 학습 속도가 현저히 느리다.
• 에이전트들이 이미 일치된 상태에 있을 경우, 새로운 신호를 잡음으로 간주하기 때문에 속도 저하가 발생한다. 이는 일치가 잘못되었더라도 마찬가지다.
• 모델은 상호 관찰이 잘못된 신념을 강화하고 진리에의 수렴을 지연시키는 피드백 루프를 만들 수 있음을 보여준다.