[논문 리뷰] Emergence of Communication in an Interactive World with Consistent Speakers

Ben Bogin, Mor Geva외 1명|arXiv (Cornell University)|2018. 09. 03.

Topic Modeling참고 문헌 33인용 수 30

한 줄 요약

이 논문은 원시 픽셀 입력을 갖는 상호작용적이고 다중 작업 환경에서 정책 그래디언트 학습을 안정화하기 위해 학습된 표현 공간에 구조를 부여하여 일관된 발화자를 생성하는 새로운 학습 알고리즘인 일관된 통신 최적화(CCO)를 제안한다. CCO는 정책 그래디언트 및 기준 모델 대비 상당히 향상된 작업 성능과 탄생한 통신의 품질을 달성하며, 새로운 기반 기반 메트릭을 통해 측정된 맥락 독립성 수준에서도 뛰어난 성능을 보인다. 특히 복잡하고 장기적인 작업 환경에서 두드러진다.

ABSTRACT

Training agents to communicate with one another given task-based supervision only has attracted considerable attention recently, due to the growing interest in developing models for human-agent interaction. Prior work on the topic focused on simple environments, where training using policy gradient was feasible despite the non-stationarity of the agents during training. In this paper, we present a more challenging environment for testing the emergence of communication from raw pixels, where training using policy gradient fails. We propose a new model and training algorithm, that utilizes the structure of a learned representation space to produce more consistent speakers at the initial phases of training, which stabilizes learning. We empirically show that our algorithm substantially improves performance compared to policy gradient. We also propose a new alignment-based metric for measuring context-independence in emerged communication and find our method increases context-independence compared to policy gradient and other competitive baselines.

연구 동기 및 목표

• 긴 수상 보상과 복잡한 상호작용적 다중 작업 환경에서 정책 그래디언트 방법이 통신하는 에이전트를 학습시키는 데 실패하는 문제를 해결한다.
• 유사한 환경적 맥락에서 화자로부터 일관된 발화 생성을 촉진함으로써 학습 안정성을 향상시키는 학습 알고리즘을 개발한다.
• 조직적 성질을 반영하는 통신 프로토콜의 맥락 독립성을 측정하기 위한 새로운 평가 메트릭을 도입한다.
• 다중 작업 학습이 탄생한 언어의 맥락 독립성에 어떤 영향을 미치는지 조사한다.
• 구조화된 표현 공간이 상호작용적이고 지각 기반 환경에서 더 견고하고 일반화 가능한 통신 프로토콜을 이끌어내는지 입증한다.

제안 방법

• 유사한 환경 상태에서 화자가 일관된 발화를 생성하도록 유도하기 위해 학습된 표현 공간의 구조를 활용하는 새로운 학습 알고리즘인 일관된 통신 최적화(CCO)를 제안한다.
• 화자 출력의 분리 및 안정된 의미를 촉진하기 위해, 발화 표현을 세계 상태와 정렬하는 대비 학습 목표를 적용한다.
• 화자의 발화 표현에 대해 GRU 또는 단어 봉투(BOW) 인코더를 사용하며, BOW 변형이 성능 향상과 맥락 독립성 향상에서 뛰어난 성능을 보였다.
• 작업 완료 시에만 보상을 부여하는 다중 작업 2D 상호작용 환경에서 화자 및 청자 에이전트를 함께 훈련한다. 작업에는 탐색, 물체 수거, 조작이 포함된다.
• 조건부 확률 $p_{cv}(c|v)$와 $p_{vc}(v|c)$를 사용하여 개념과 기호 간의 상호 정렬을 계산하는 새로운 기반 기반 메트릭을 구현한다.
• 유사한 개념 간 혼동을 최소화하고 각 기호가 높은 확신도로 단일 개념에 매핑되도록 하는 대비 목표를 구현한다.

실험 결과

연구 질문

• RQ1 정책 그래디언트 방법은 원시 픽셀 입력과 장기적인 작업 환경을 갖는 복잡한 상호작용적 다중 작업 환경에서 통신하는 에이전트를 성공적으로 학습시킬 수 있는가?
• RQ2 CCO를 통해 학습된 표현 공간에 구조를 도입함으로써 화자의 행동이 더 일관성이 있고 학습 안정성이 향상되는가?
• RQ3 CCO가 생성한 탄생한 통신 프로토콜이 얼마나 맥락 독립성을 보이며, 이는 조직적 성질을 반영하는가?
• RQ4 다중 작업 학습은 단일 작업 학습 대비 탄생한 통신의 맥락 독립성에 어떤 영향을 미치는가?
• RQ5 제안된 기반 기반 메트릭은 탄생한 통신 프로토콜의 맥락 독립성을 신뢰성 있게 측정할 수 있는가?

주요 결과

• 정책 그래디언트 방법은 비정상성, 확률적 성격, 희박한 보상으로 인해 제안된 상호작용적 다중 작업 환경에서 에이전트 학습에 실패한다.
• CCO는 정책 그래디언트 대비 작업 성공률을 크게 향상시키며, BOW 변형을 사용한 8C/3N/1M 설정에서 성공률이 3.5배 향상되었다.
• CCO 모델은 5색, 3숫자 작업에서 맥락 독립성 점수 0.74를 기록하여 정책 그래디언트(0.03) 및 Obverter(0.19)보다 훨씬 높은 성능을 보이며 더 조직적인 통신을 나타낸다.
• CCO의 BOW 변형은 맥락 독립성에서 GRU 변형을 능가하며, 5C/3N/1M에서 0.62, 8C/1N/1M에서 0.44를 기록하여 더 단순한 인코더가 의미 일관성을 더 잘 유지할 수 있음을 시사한다.
• 3개의 미션을 포함한 다중 작업 학습은 맥락 독립성을 향상시키지 못했으며, CCO-BOW는 3C/3N/2M에서 0.29, 3C/3N/3M에서 0.25를 기록하여 작업 다양성만으로는 조직적 구조를 향상시키지 못함을 나타낸다.
• 제안된 기반 기반 메트릭은 맥락 독립성을 효과적으로 캡처하였으며, 완벽한 맥락 독립성은 점수 1.0을 기록하고, CCO-BOW는 현실적인 설정에서 0.74를 기록하였다.