[논문 리뷰] Biases for Emergent Communication in Multi-agent Reinforcement Learning

Tom Eccles, Yoram Bachrach외 3명|arXiv (Cornell University)|2019. 12. 11.

Evolutionary Algorithms and Applications인용 수 29

한 줄 요약

이 논문은 분산형 다중 에이전트 강화학습에서 잠재적 의사소통을 향상시키기 위해 긍정적 신호 전달과 긍정적 청취에 대한 유도적 편향을 도입한다. 청취자의 주의를 유도하고 발화자가 정보를 잘 전달하도록 돕는 보조 손실을 추가함으로써, 단순한 환경과 시간에 따라 연속되는 환경 모두에서 학습된 의사소통 프로토콜의 일관성과 성능이 크게 향상되며, 양쪽 편향을 모두 사용할 경우 최종 보상으로 최대 15.41까지 도달한다.

ABSTRACT

We study the problem of emergent communication, in which language arises because speakers and listeners must communicate information in order to solve tasks. In temporally extended reinforcement learning domains, it has proved hard to learn such communication without centralized training of agents, due in part to a difficult joint exploration problem. We introduce inductive biases for positive signalling and positive listening, which ease this problem. In a simple one-step environment, we demonstrate how these biases ease the learning problem. We also apply our methods to a more extended environment, showing that agents with these inductive biases achieve better performance, and analyse the resulting communication protocols.

연구 동기 및 목표

• 공동 탐색이 어려운 분산형 다중 에이전트 강화학습 환경에서 잠재적 의사소통을 학습하는 데 도전하는 것.
• 중앙집중적 훈련 없이도 의사소통 프로토콜의 일관성과 신뢰성을 향상시키는 것.
• 협업의 그라이스 원칙을 학습 가능한 보조 손실로 형식화하여 발화자 및 청취자 에이전트에 적용하는 것.
• 이러한 편향이 일시적 단계와 시간에 따라 연속되는 환경 모두에서 의사소통의 잠재적 발생을 향상시키는지 평가하는 것.
• 결과로 도출된 의사소통 프로토콜의 분석과 작업 성능에 미치는 영향을 조사하는 것.

제안 방법

• 청취자의 주의를 측정하여 발화자가 메시지의 사회적 영향력을 높이도록 유도하는 긍정적 신호 전달 손실을 제안한다.
• 청취자가 발화자의 메시지에 더 많은 주의를 기울이도록 유도하는 긍정적 청취 손실을 도입한다. 이는 반응성을 향상시킨다.
• 표준 RIAL(강화된 상호에이전트학습) 프레임워크에 이러한 보조 손실을 추가하여 분산 훈련과 실행을 유지한다.
• ‘좋은’ 의사소통 런의 비율에 대한 신뢰구간을 계산하기 위해 윌슨 점수 구간을 사용하여 평가의 강건성을 확보한다.
• 고정된 기호로 메시지를 대체하여 청취자가 전달된 정보를 실제로 반영하는지 확인하기 위해 간섭 기반 분석을 시행한다.
• 이 방법을 두 가지 환경에 적용한다: 일시적 단계의 MNIST 합계 작업과 시간적 의존성이 있는 격자도 상자 수색 작업.

실험 결과

연구 질문

• RQ1 분산형 MARL에서 긍정적 신호 전달과 청취에 대한 유도적 편향이 일관된 의사소통의 잠재적 발생을 향상시킬 수 있는가?
• RQ2 이러한 편향은 단순한 일시적 단계 환경에서 학습 동역학과 최종 성능에 어떤 영향을 미치는가?
• RQ3 이 편향은 시간에 따라 연속되는 환경에서 더 신뢰성 있고 해석 가능한 의사소통 프로토콜을 유도하는가?
• RQ4 청취자의 행동이 발화자의 메시지에 얼마나 반응하는가? 이는 간섭 분석으로 검증할 수 있는가?
• RQ5 의사소통 프로토콜이 환경 상태에 대한 의미 있는 정보를 전달하는 것으로 해석될 수 있는가?

주요 결과

• 일시적 단계의 MNIST 환경에서 ‘좋은’ 의사소통 런의 비율은 편향이 없을 경우 28%에서, 긍정적 신호 전달과 청취 편향을 모두 적용했을 경우 94%로 증가했다.
• 양 편향을 모두 적용한 런의 최종 평균 보상은 15.41 ± 0.14로, 편향이 없는 경우의 12.45 ± 0.48보다 유의미하게 높았다.
• 격자도 환경에서 터널에 도달하는 데 걸리는 중앙값 시간은 기준선의 100.6 ± 14.7 프레임에서 일관된 메시지로 대체했을 때 36.1 ± 3.3 프레임으로 감소하여 청취자가 효과적으로 반응함을 확인했다.
• 중간 런에서 의사소통 프로토콜은 강한 상관관계를 보였다: 한 기호가 오른쪽 끝 터널에 보물이 존재함을 75%의 비율로 나타냈다.
• 성능이 가장 뛰어난 런에서는 여러 기호가 여러 터널에 대해 정보를 전달하는 데 사용되어 더 복잡하고 정보량이 많은 프로토콜임을 나타냈다.
• 긍정적 신호 전달과 청취 손실은 기울기 역전파가 가능한 의사소통이나 중앙집중적 훈련 없이도 의사소통의 잠재적 발생을 향상시켰다.