[논문 리뷰] Learning to Communicate Implicitly By Actions

Zheng Tian, Shihao Zou외 5명|arXiv (Cornell University)|2018. 10. 10.

Reinforcement Learning in Robotics참고 문헌 54인용 수 7

한 줄 요약

이 논문은 공동 작업에서 비공식 정보 환경에서 액션을 통해 비공식적으로 개인 정보를 공유할 수 있도록 하는 새로운 알고리즘인 정책 신념 학습(Policy Belief Learning, PBL)을 제안한다. 개인 정보를 모델링하는 신념 모듈과 액션 기반의 의사소통를 유도하는 새로운 보조 보상에 의해 지도되는 정책 모듈을 결합함으로써, PBL는 명시적 의사소통 채널이 없는 상황에서도 행렬 게임과 컨트랙트 브리지 라이팅에서 거의 최적의 성능을 달성한다.

ABSTRACT

In situations where explicit communication is limited, human collaborators act by learning to: (i) infer meaning behind their partner's actions, and (ii) convey private information about the state to their partner implicitly through actions. The first component of this learning process has been well-studied in multi-agent systems, whereas the second --- which is equally crucial for successful collaboration --- has not. To mimic both components mentioned above, thereby completing the learning process, we introduce a novel algorithm: Policy Belief Learning (PBL). PBL uses a belief module to model the other agent's private information and a policy module to form a distribution over actions informed by the belief module. Furthermore, to encourage communication by actions, we propose a novel auxiliary reward which incentivizes one agent to help its partner to make correct inferences about its private information. The auxiliary reward for communication is integrated into the learning of the policy module. We evaluate our approach on a set of environments including a matrix game, particle environment and the non-competitive bidding problem from contract bridge. We show empirically that this auxiliary reward is effective and easy to generalize. These results demonstrate that our PBL algorithm can produce strong pairs of agents in collaborative games where explicit communication is disabled.

연구 동기 및 목표

• 명시적 의사소통에 비해 암시적 의사소통(액션을 통해 개인 정보를 전달하는 것)이 다중 에이전트 강화 학습에서 다소 간과되고 있는 점을 보완하기 위해.
• 에이전트가 상대방의 개인 정보를 추론할 뿐 아니라 자신의 개인 정보를 암시적으로 전달할 수 있도록 행동하는 법을 동시에 학습할 수 있는 프레임워크를 개발하기 위해.
• 에이전트가 상대방의 신념을 모델링하고 이를 바탕으로 행동함으로써 이론적 마음의 모델링(mental model)을 학습에 통합함으로써, 명시적 신호 없이도 상호 이해를 이루기 위해.
• 다양한 협업 환경에서 비공식 정보가 존재하는 상황에 일반화 가능한 실용적이고 확장 가능한 알고리즘을 설계하기 위해.
• 암시적 의사소통이 명시적 의사소통이 비활성화된 상황에서도 강력한 협업 성능을 달성할 수 있음을 경험적으로 검증하기 위해.

제안 방법

• PBL는 이중 모듈 아키텍처를 사용한다: 다른 에이전트의 관측된 행동을 바탕으로 그들의 개인 정보를 추정하는 신념 모듈과, 현재 관측값과 함께 신념 모듈의 출력을 활용해 액션을 선택하는 정책 모듈.
• 정책 모듈은 액션이 에이전트의 개인 상태에 대한 파artner의 신념 정확도를 얼마나 향상시키는지 측정하는 새로운 보조 보상에 의해 훈련되며, 이는 정보성 액션을 유도한다.
• 보조 보상은 주 학습 목표에 통합되어, 암시적 의사소통을 촉진하면서도 정책의 엔드 투 엔드 학습이 가능하도록 한다.
• 이 프레임워크는 분산 훈련을 지원하며, 각 에이전트에 대해 별도의 신념 모듈을 갖추어 서로 다른 데이터 스트림을 사용해 상대방의 정신 상태를 모델링할 수 있다.
• 알고리즘은 딥 강화 학습을 통해 훈련되며, 경험 리플레이와 타겟 네트워크를 통해 정책 및 신념 모듈이 함께 최적화된다.
• 이 방법은 세 가지 환경에서 평가되었으며, 행렬 게임, 다중 에이전트 입자 환경(Silent Guide), 그리고 컨트랙트 브리지 라이팅 작업에서 확장성과 강건성을 입증했다.

실험 결과

연구 질문

• RQ1 명시적 의사소통 채널이 없는 상황에서 에이전트는 액션을 통해 개인 정보를 암시적으로 전달할 수 있는가?
• RQ2 제안된 보조 보상은 파artner의 신념 정확도를 향상시키는 정보성 액션 시퀀스를 얼마나 효과적으로 유도하는가?
• RQ3 다른 신념 모델을 가진 에이전트들도 암시적 의사소통을 통해 여전히 효과적으로 협업할 수 있는가?
• RQ4 이론적 마음의 모델링(다른 이의 신념을 모델링하고 이를 바탕으로 행동함)을 통합함으로써, 비공식 정보 환경에서 협업 성능이 향상되는가?
• RQ5 PBL 프레임워크는 컨트랙트 브리지 라이팅과 같은 복잡한 실생활을 시뮬레이션한 과제로 일반화 가능한가?

주요 결과

• PBL 알고리즘은 명시적 채널이 없는 행렬 게임에서 거의 최적의 성능을 달성하며, 효과적인 암시적 의사소통가 가능함을 입증했다.
• Silent Guide 입자 환경에서, 보조 의사소통 보상이 포함된 에이전트는 올바른 랜드마크에 접근함으로써 청취자를 목표지점으로 안내하는 데 성공했고, 보상 없이 훈련된 베이스라인은 의사소통에 실패했다.
• PBL로 훈련된 청취자는 가이드의 정책이 별도로 훈련되어 있어도 가이드의 액션을 따라가며, 이는 신념 모델의 차이에 대해 강건함을 보였다.
• 컨트랙트 브리지 라이팅 과제에서 모델은 의미 있는 라이팅 규칙을 학습했다: 스페이드에 대한 HCP가 4.5 이상일 경우 스페이드로 오픈하기, 이는 효과적인 암시적 신호 전달을 의미한다.
• 절단 실험 결과, 역사 기억이 제한적(최근 한 번의 입찰만)일 경우 성능이 저하됨(평균 점수 0.065)을 확인하여, 더 긴 역사 정보가 신념 모델 정확도를 향상시킴을 확인했다.
• PBL 프레임워크는 신념 모델이 없는 단순한 청취자(단지 액션을 관측함)와도 성공적으로 협업할 수 있음을 보여, 암시적 신호 전달의 실용적 유용성을 입증했다.