[논문 리뷰] Quasi-Equivalence Discovery for Zero-Shot Emergent Communication

Kalesha Bullard, Douwe Kiela외 3명|arXiv (Cornell University)|2021. 03. 14.

Reinforcement Learning in Robotics참고 문헌 35인용 수 6

한 줄 요약

이 논문은 목표와 행동의 동치 클래스 간 상호정보를 최대화하면서 통신 비용과 송신자 정책의 분산을 최소화하여, 다중 에이gent 시스템에서 제로샷 급성 통신을 가능하게 하는 최적 정책(OP) 학습을 제안한다. 이 방법은 비용을 고려한 민첩한 통신 프로토콜을 유도함으로써 새로운 에이gent 쌍 간에 일반화되는 강건한 제로샷 조율을 달성한다.

ABSTRACT

Effective communication is an important skill for enabling information exchange in multi-agent settings and emergent communication is now a vibrant field of research, with common settings involving discrete cheap-talk channels. Since, by definition, these settings involve arbitrary encoding of information, typically they do not allow for the learned protocols to generalize beyond training partners. In contrast, in this work, we present a novel problem setting and the Quasi-Equivalence Discovery (QED) algorithm that allows for zero-shot coordination (ZSC), i.e., discovering protocols that can generalize to independently trained agents. Real world problem settings often contain costly communication channels, e.g., robots have to physically move their limbs, and a non-uniform distribution over intents. We show that these two factors lead to unique optimal ZSC policies in referential games, where agents use the energy cost of the messages to communicate intent. Other-Play was recently introduced for learning optimal ZSC policies, but requires prior access to the symmetries of the problem. Instead, QED can iteratively discovers the symmetries in this setting and converges to the optimal ZSC policy.

연구 동기 및 목표

• 학습 중에 볼 수 없었던 새로운 파art너와 효과적으로 소통할 수 있도록 제로샷 조율의 과제를 해결하기 위해.
• 행동 동치 클래스를 고려한 정책 목표를 도입하여, 민첩하지만 일관된 프로토콜을 가능하게 함으로써 통신의 강건성을 향상시키기 위해.
• 비용이 드는 채널 제약 조건을 통신 학습에 통합하여, 독립적으로 훈련된 에이gent에서도 저비용이고 효율적인 신호 전송을 보장하기 위해.
• 급성 통신 프로토콜이 높은 상호정보와 제로샷 일반화를 동시에 달성할 수 있는 조건을 정식화하기 위해.
• 공통 지식 제약 조건—예를 들어 비균일한 의도 분포와 에너지 페널티—이 복잡한 작업(에너지 디게너시)에서 안정적이고 일반화 가능한 프로토콜을 가능하게 하는지 검증하기 위해.

제안 방법

• OP 목표는 수신자 정책에 대한 군 작용(ϕ)을 통해 모든 가능한 정책 순열에 대한 기대 연합 성과를 최대화한다: π*OP = argmaxπ Eϕ∼Φ[J(π¹, ϕ(π²))].
• 이 방법은 젠센의 부등식을 사용하여 목표의 하한을 유도함으로써, 상호정보와 비용 간의 균형을 고려한 계산 가능한 최적화를 가능하게 한다.
• 유도된 목표는 세 가지 구성 요소를 포함한다: (1) 목표와 행동 동치 클래스 간의 상호정보 I(G; Φ(a))이며, (2) 균일한 행동 분포와 송신자 정책 간의 교차 엔트로피 정규화이며, (3) 행동 비용 최소화이다.
• 이 방법은 송신자 행동만 비용이 발생하는 비용이 드는 채널 참조 과제로 통신을 모델링하며, 조건부 예측을 통해 수신자 정확도를 최적화한다.
• 재현 가능성을 위해 커스터마이징된 Colab 노트북을 사용하여 정확한 계산이 가능한 표 형태 설정에서 평가가 이루어졌으며, 공동체 교육을 위한 목적도 있다.
• 이론적 유도 결과로 OP는 동치 행동 다수를 동일한 목표로 매핑하는 프로토콜을 유도함을 확인하였으며, 이는 제로샷 설정에서 정책 변동에 대한 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 훈련 중에 파트너 간 직접 상호작용이 필요 없이 제로샷 조율을 촉진할 수 있는 통신 목표를 설계할 수 있는가?
• RQ2 군 작용 ϕ를 통한 행동 동치 클래스의 통합이 급성 통신 프로토콜의 강건성에 어떻게 기여하는가?
• RQ3 비용이 드는 통신 채널이 급성 통신의 구조와 일반화에 어떤 역할을 하는가?
• RQ4 비균일한 의도 분포와 에너지 페널티와 같은 공통 지식 제약 조건이 프로토콜의 안정성과 제로샷 성능을 어느 정도 향상시키는가?
• RQ5 목표와 행동 동치 클래스 간의 상호정보를 최대화하는 것이 표준 정책 최적화보다 더 효율적이고 일반화 가능한 통신을 이끌어내는가?

주요 결과

• OP 목표는 새로운 에이gent 쌍에 대해 일반화되는 통신 프로토콜을 성공적으로 유도하여, 다양한 훈련 파트너 간에 일관된 제로샷 조율 성능을 달성한다.
• 비용이 드는 채널 설정에서, 유도된 목표에 E[C(a)]의 명시적 최소화가 포함되어 있어 통신 비용을 감소시키면서도 높은 수신자 정확도를 유지함을 확인하였다.
• 에너지 기반 잠재 구조(예: 에너지 디게너시)와 비용이 드는 채널을 함께 사용할 경우, 비균일한 의도 분포만을 사용하는 것보다 더 강건한 프로토콜을 도출한다.
• SP 기반 모델과는 달리, OP 방법은 에이gent가 독립적으로 훈련된 경우에도 새로운 파트너에 대해 강력한 제로샷 성능을 유지한다.
• 이론적 유도 결과로 OP 목표가 목표와 행동의 동치 클래스 간 상호정보를 최대화함을 확인하였으며, 이는 민첩하면서도 일관된 통신을 가능하게 한다.
• 제거 실험 결과, 비용이 드는 채널이 없을 경우 송신자 정책이 행동에 대해 균일 분포로 붕괴되어 제로샷 설정에서 수신자 성능이 심각하게 악화됨을 확인하였다.