[논문 리뷰] Emergent Discrete Communication in Semantic Spaces

Mycal Tucker, Huao Li외 5명|arXiv (Cornell University)|2021. 08. 04.

Reinforcement Learning in Robotics참고 문헌 33인용 수 7

한 줄 요약

이 논문은 다중 에이전트 강화학습에서 잠재적인 이산적 의사소통를 위한 새로운 신경망 아키텍처를 제안한다. 여기서 에이전트는 일인식 벡터가 아닌 연속적인 의미 공간에 임bed된 이산적 토큰을 사용한다. 이러한 토큰을 의미적으로 유의미하게 군집화함으로써, 에이전트는 소음이 있는 환경에서도 강건하고 제로샷 일반화 성능을 달성하며, 레이블이 없는 의사소통의 인간 이해를 가능하게 한다. 이는 일인식 벡터 기반 기준 대비 인간 해석 능력과 팀 성능 모두에서 슈퍼리어한 성능을 보인다.

ABSTRACT

Neural agents trained in reinforcement learning settings can learn to communicate among themselves via discrete tokens, accomplishing as a team what agents would be unable to do alone. However, the current standard of using one-hot vectors as discrete communication tokens prevents agents from acquiring more desirable aspects of communication such as zero-shot understanding. Inspired by word embedding techniques from natural language processing, we propose neural agent architectures that enables them to communicate via discrete tokens derived from a learned, continuous space. We show in a decision theoretic framework that our technique optimizes communication over a wide range of scenarios, whereas one-hot tokens are only optimal under restrictive assumptions. In self-play experiments, we validate that our trained agents learn to cluster tokens in semantically-meaningful ways, allowing them communicate in noisy environments where other techniques fail. Lastly, we demonstrate both that agents using our method can effectively respond to novel human communication and that humans can understand unlabeled emergent agent communication, outperforming the use of one-hot communication.

연구 동기 및 목표

• 일인식 벡터의 한계를 해결하기 위해, 의미 관계를 갖지 못하고 제로샷 이해를 어렵게 하는 문제를 해결한다.
• 신경망 에이전트가 자연어처리(NLP)의 단어 임베딩에 영감을 받아 연속적이며 의미적으로 유의미한 공간 내에서 이산적 의사소통 토큰을 학습하도록 유도한다.
• 이러한 방법이 환경적 소음 하에서도 강건한 의사소통을 가능하게 하고, 레이블이 없는 에이전트 간 의사소통을 인간이 이해할 수 있도록 지원함을 입증한다.
• 에이전트가 학습된 의미 공간을 기반으로 인간이 제공한 새로운 문장에 대응할 수 있음을 검증한다.
• 학습된 토큰 군집이 인간이 이해할 수 있는 의미적 그룹(예: 동물과 차량을 분리하는 것)과 일치함을 보여준다.

제안 방법

• 에이전트는 이산적 의사소통 토큰을 일인식 벡터가 아닌 연속 벡터 공간 내에서 학습 가능한 임베딩으로 표현하는 프로토타입 기반 아키텍처를 사용한다.
• 의사소통 메커니즘은 결정 이론 프레임워크 내에서 자기대결 학습(self-play)을 통해 훈련되며, 과제 성공과 의미 군집화를 최적화한다.
• 유사한 개념(예: 동물, 차량)을 같은 군집으로 묶는 데 기여하기 위해, 유의미한 유사도 기반의 미분 가능 라우팅 메커니즘을 통해 토큰 할당을 업데이트한다.
• 모델은 동일한 클래스 내 토큰 간 유사성과 다른 클래스 간 이질성을 유도하기 위해 대비 손실(contrastive loss)을 사용한다.
• 인간 평가는 아마존 메카니컬 터크를 통해 레이블이 없는 에이전트 의사소통의 제로샷 이해도를 평가하기 위해 실시된다.
• 참고 게임과 인간 해석 작업에서 BERT 기반 임베딩 및 일인식 기반 기준과의 비교를 통해 본 방법의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 에이전트는 연속적인 의미 공간에 임bed된 이산적 토큰을 사용하여, 일인식 벡터보다 더 해석 가능하고 강건한 의사소통을 학습할 수 있는가?
• RQ2 연속적인 의미 공간에서의 학습은 새로운 입력, 예를 들어 알려지지 않은 영어 문장에 대해 더 나은 제로샷 일반화를 가능하게 하는가?
• RQ3 의미적으로 의미 있는 방식으로 군집화된 토큰을 사용할 경우, 인간은 레이블이 없는 잠재적 의사소통 토큰을 이해할 수 있는가?
• RQ4 제안된 방법의 성능은 일인식 및 BERT 기반 기준 대비 인간 해석 능력과 팀 성능 측면에서 어떻게 비교되는가?
• RQ5 토큰의 의미 군집화가 의사소통에서 환경적 소음에 대한 강건성을 향상시키는가?

주요 결과

• 학습된 네 개의 모델(총 다섯 개 중)이 제안된 방법을 사용하여 BERT 기반 임베딩보다 인간 해석 능력에서 유의미하게 뛰어난 성능을 보였다. 레이블이 없는 에이전트 의사소통에 대한 정확도는 76.08%에서 79.00%였고, BERT 기반 기준은 65.83%였다.
• 수렴하지 못한 모델(Proto-1)은 무작위 수준의 성능(49.32%)을 보였지만, 나머지 네 개의 모델는 강건하고 고성능의 의사소통 군집을 형성했다.
• 성공적으로 학습된 경우, 에이전트는 의미적으로 의미 있는 그룹(예: 동물과 차량을 분리)으로 토큰을 군집화하는 것을 학습했으며, 이는 제로샷 성능 향상에 기여했다.
• 이 방법은 인간이 제공한 새로운 영어 문장에 효과적으로 대응할 수 있게 해, 실용적인 상호운용성을 입증했다.
• 인간 참가자들은 높은 정확도로 잠재적 에이전트 의사소통을 해석할 수 있었으며, 이는 학습된 의사소통이 의미적으로 해석 가능함을 시사한다.
• 연속적인 의미 공간 접근법은 일인식 벡터 대비 소음에 대한 강건성과 인간 이해 능력 모두에서 뛰어난 성능을 보였으며, 이는 실제 의사소통 환경에서의 우월성을 입증한다.