[논문 리뷰] On the interaction between supervision and self-play in emergent communication

Ryan Lowe, Abhinav Gupta외 3명|arXiv (Cornell University)|2020. 02. 04.

Language and cultural evolution참고 문헌 31인용 수 30

한 줄 요약

이 논문은 S2P(Supervised learning with Self-Play)로 등장하는 의사소통 emergent communication을 연구, 감독 학습을 먼저 수행한 뒤 자기놀이가 emergent 학습만 하거나 미세조정보다 우수하다고 보여주고, 인구 기반 S2P를 도입해 성능을 향상시킵니다.

ABSTRACT

A promising approach for teaching artificial agents to use natural language involves using human-in-the-loop training. However, recent work suggests that current machine learning methods are too data inefficient to be trained in this way from scratch. In this paper, we investigate the relationship between two categories of learning signals with the ultimate goal of improving sample efficiency: imitating human language data via supervised learning, and maximizing reward in a simulated multi-agent environment via self-play (as done in emergent communication), and introduce the term supervised self-play (S2P) for algorithms using both of these signals. We find that first training agents via supervised learning on human data followed by self-play outperforms the converse, suggesting that it is not beneficial to emerge languages from scratch. We then empirically investigate various S2P schedules that begin with supervised learning in two environments: a Lewis signaling game with symbolic inputs, and an image-based referential game with natural language descriptions. Lastly, we introduce population based approaches to S2P, which further improves the performance over single-agent methods.

연구 동기 및 목표

• Emergent communication에서 감독 학습 데이터와 자기놀이를 결합하는 데이터 효율성 조사.
• 자기놀이 이전에 감독 학습으로 시작하는 것이 작업 성능과 자연어(L*)와의 언어 정렬을 향상시키는지 평가한다.
• 다양한 S2P 일정들을 비교하고 로버스트성과 성능 향상을 위한 인구 기반 접근법을 평가한다.

제안 방법

• 감독 자기놀이(S2P)를 언어 L*의 전문가 데이터세트 D에 대한 자기놀이 업데이트와 감독 업데이트의 조합으로 정의한다.
• 다음 S2P 일정들을 평가한다: sp2sup, sup2sp, 랜덤 업데이트, 스케줄된 업데이트(sched), 그리고 화자 동결이 있는 스케줄된 업데이트(sched_frz).
• 두 가지 emergent communication 환경을 연구한다: 기호 입력을 가진 Lewis 신호 게임(Object Reconstruction)과 자연어 설명이 주어진 이미지 기반 지시 게임(IBR).
• IBR 게임에서 이산 화자 메시지를 처리하기 위해 직선통과 Gumbel-Softmax를 사용하여.
• 에이전트의 인구(population)를 훈련시키고 이를 단일 에이전트로 증류하여 인구 기반 S2P(Pop-S2P)를 도입하고, 앙상블을 상한선(baseline)으로 활용한다.

실험 결과

연구 질문

• RQ1 자기놀이 전에 감독 학습으로 시작하는 것이 샘플 효율성과 자연어(L*)와의 정렬을 emergent 학습 단독과 비교하여 향상시키나요?
• RQ2 환경 간 작업 성능과 언어 드리프트 측면에서 서로 다른 S2P 일정들이 어떻게 비교되나요?
• RQ3 더 복잡한 자연어 작업에서 특히 단일 에이전트 S2P보다 인구 기반 S2P가 성능을 더욱 향상시킬 수 있나요?
• RQ4 자기놀이가 학습을 이끄는 역할은 정규화와 제약 충족이라는 관점에서 어떤 역할을 하나요?
• RQ5 언어 드리프트를 완화하기 위해 화자 동결과 같은 전략이 도움이 되나요?

주요 결과

• 두 환경 모두에서 자기놀이를 먼저 수행하고 감독을 나중에 하는 것보다 감독 학습을 먼저 수행하는 것이 더 나은 성능을 보인다.
• 인구 기반 접근법(Pop-S2P)을 추가하면 단일 에이전트 S2P를 넘어서 성능이 향상되며, 특히 이미지 기반 지시 게임에서 그렇다.
• IBR 환경에서 sched S2P가 감독 기준선보다 개선되며, Pop-S2P가 추가로 상당한 이득을 제공한다.
• 자기놀이는 일종의 정규화 역할을 하며, 자기놀이 라운드 중 목표 언어 성능이 단기간 하락하지만 이후의 감독 업데이트로 회복된다.
• 자기놀이로부터의 Emergent 언어는 자연어에서 벗어나 drift할 수 있는데, 이는 더 큰 초기 감독 데이터와 인구 기반 증류로 완화될 수 있다.