[논문 리뷰] Mind model seems necessary for the emergence of communication

Lorincz, A., Gyenes, V.외 2명|ArXiv.org|2006. 11. 03.

Reinforcement Learning in Robotics참고 문헌 9인용 수 6

한 줄 요약

이 논문은 사전에 존재하는 상징적 합의 없이도 두 에이전트 간에 의사소통이 어떻게 유도될 수 있는지 탐구한다. 강화학습과 마음 모델링을 활용하여, 기본적인 상호 모델링만으로는 부족하며, 상대방의 행동과 의도를 모두 모델링하는 것이 신속한 상징-의미 정렬을 위해 필수적임을 보여준다. 그러나 의도 추적을 포함해 모델을 과도하게 복잡하게 만들면 학습이 저해될 수 있다.

ABSTRACT

We consider communication when there is no agreement about symbols and meanings. We treat it within the framework of reinforcement learning. We apply different reinforcement learning models in our studies and simplify the problem as much as possible. We show that the modelling of the other agent is insufficient in the simplest possible case, unless the intentions can also be modelled. The model of the agent and its intentions enable quick agreements about symbol-meaning association. We show that when both agents assume an `intention model' about the other agent then the symbol-meaning association process can be spoiled and symbol meaning association may become hard.

연구 동기 및 목표

• 사전에 존재하는 상징적 합의 없이도 자율 에이전트 간에 의사소통이 어떻게 유도될 수 있는지 최소 조건을 탐구하기 위해.
• 강화학습 환경에서 상호 행동 모델링만으로도 상징-의미 연관이 성립하는지 검토하기 위해.
• 의도 모델링이 의사소통 유도의 가속화 또는 저해에 어떤 역할을 하는지 평가하기 위해.
• 에이전트 모델링의 깊이(1단계 vs. 2단계)가 학습 효율성과 수렴에 어떻게 영향을 주는지 탐구하기 위해.
• 에이전트가 상반된 동기나 의사소통 비용을 가질 경우 의사소통이 어떻게 유도될 수 있는지 확인하기 위해.

제안 방법

• 에이전트가 유용성에 기반해 신호를 전달하고 해석하도록 학습하는 강화학습 문제로 의사소통을 설정한다.
• 통신 의지와 신호 선호도(예: α, β, p₁, p₂, qₓ, qᵧ)를 갖는 확률적 정책으로 에이전트를 모델링한다.
• 1단계 및 2단계 마음 모델링 도입: 에이전트는 상대의 정책을 추정하고 예측된 반응에 기반해 최적으로 행동한다.
• 다양한 모델링 가정 하에 최적 정책의 분석적 유도를 통해 학습 결과를 비교한다.
• 이론적 예측을 검증하기 위해 시뮬레이션에서 가치 함수 학습에 SARSA 알고리즘을 사용한다.
• 관측된 행동의 상대 빈도를 통해 정책 매개변수를 추정한다(예: p̂₁ = 상태 1에서 X의 횟수 / 총 통신 에피소드 수).

실험 결과

연구 질문

• RQ1 에이전트가 의도를 모델링하지 않고 행동만 모델링할 경우 의사소통이 유도될 수 있는가?
• RQ2 행동과 의도를 모두 모델링할 경우 상징-의미 연관의 속도와 성공에 어떤 영향을 미치는가?
• RQ3 서로의 유용성이 공유됨에도 불구하고 상호 행동 모델링이 왜 의사소통 유도를 보장하지 못하는가?
• RQ4 모델링 깊이를 증가시킬 경우(1단계 vs. 2단계) 학습 안정성과 수렴에 어떤 영향을 미치는가?
• RQ5 의도 추적과 같은 모델의 과도한 복잡성은 어떤 조건에서 의사소통 학습을 악화시키는가?

주요 결과

• 통신이 유용하고 비용이 들더라도 기본적인 상호 행동 모델링만으로는 의사소통 유도가 부족하다.
• 다른 에이전트의 의도를 행동을 넘어서 모델링함으로써 더 신속하고 신뢰성 있는 상징-의미 정렬이 가능해진다.
• 양쪽 에이전트가 서로의 의도를 모델링할 경우 학습 과정이 불안정해지고 의사소통이 유도되지 않을 수 있다.
• 2단계 모델링 접근 방식(에이전트가 자신의 행동에 대한 상대의 반응을 예측함)은 통신 비용이 균형을 이루는 경우에만 최적 전략을 도출한다.
• 의도를 모델링하지 못하거나 과도하게 추정하는 에이전트들은 특히 비용이 기대 이득을 초월할 경우 완전히 의사소통을 중단할 수 있다.
• 분석적 유도 결과, 최적 정책은 p̂₁, q̂ₓ, 및 β와 같은 추정 매개변수에 의해 결정되며, 의사소통은 이러한 추정치가 상호 이득을 뒷받침할 때만 발생한다.