[논문 리뷰] Learning to Play Guess Who? and Inventing a Grounded Language as a Consequence

Emilio Jorge, Mikael Kågebäck외 2명|arXiv (Cornell University)|2016. 11. 10.

Topic Modeling참고 문헌 11인용 수 37

한 줄 요약

이 논문은 두 에이전트가 이미지의 시각적 특징에 대해 논의함으로써 '어느 누군가를 맞추기' 게임을 플레이하면서 기반화된 상징적 언어를 공동으로 학습할 수 있도록 하는 다중 에이전트 딥 강화학습 프레임워크를 제안한다. 이 에이전트들은 대화 역사를 기반으로 적응하는 메모리 증강형 상호작용 대화 시스템을 개발하며, 시각적 특성에 뿌리를 두고 있는 이산적이고 맥락에 민감한 단어를 창출한다. 이는 학습 중 노이즈를 증가시키면 학습 속도와 성능이 향상됨을 보여준다.

ABSTRACT

Acquiring your first language is an incredible feat and not easily duplicated. Learning to communicate using nothing but a few pictureless books, a corpus, would likely be impossible even for humans. Nevertheless, this is the dominating approach in most natural language processing today. As an alternative, we propose the use of situated interactions between agents as a driving force for communication, and the framework of Deep Recurrent Q-Networks for evolving a shared language grounded in the provided environment. We task the agents with interactive image search in the form of the game Guess Who?. The images from the game provide a non trivial environment for the agents to discuss and a natural grounding for the concepts they decide to encode in their communication. Our experiments show that the agents learn not only to encode physical concepts in their words, i.e. grounding, but also that the agents learn to hold a multi-step dialogue remembering the state of the dialogue from step to step.

연구 동기 및 목표

• 에이전트가 시각적 환경에서 상호작용적이고 현장 기반의 의사소통을 통해 공유된 기반화된 언어를 창출할 수 있는지 조사하는 것.
• 사전 정의된 프로토콜이나 공유 파rameter 없이 이산적이고 상징적인 의사소통을 학습하는 데 도전하는 것.
• 에이전트가 대화 이력에 기반해 메시지를 적응시키는 메모리를 활용해 다단계 대화를 가능하게 하는 것.
• 통신 채널의 노이즈가 기초 언어 획득에서 학습 속도와 성능에 미치는 영향을 평가하는 것.
• 더 풍부하고 해석 가능한 언어를 가능하게 하기 위해 Differentiable Inter-Agent Learning (DIAL)을 임의의 차원을 가진 수직 메시지로 일반화하는 것.

제안 방법

• 에이전트들은 대화 턴 간 내부 상태를 유지하기 위해 게이트드 리커런트 유닛(GRUs)을 사용하는 딥 리커런트 Q-네트워크(DRQN)로 훈련된다.
• 통신은 기저의, 노이즈가 있는 채널로 모델링되며, 임의의 차원을 가진 수직 메시지를 전송함으로써 대규모 어휘의 언어가 나타나도록 한다.
• 학습 중 통신 채널의 노이즈가 점차 증가하여 이산적이고 상징적인 의사소통을 촉진하면서도 학습 안정성을 유지한다.
• 에이전트들은 목표 캐릭터를 식별하기 위해 이미지의 시각적 특징에 대해 질문하고 답변하는 방식으로 수정된 '어느 누군가를 맞추기' 게임을 플레이한다.
• 이미지 표현은 사전 학습된 분류기 의존 없이 원시 픽셀에서부터 종단간(end-to-end)으로 학습되며, 진정한 종단간 훈련을 가능하게 한다.
• t-SNE 시각화를 사용하여 질문-답변 패턴 간 유사도를 측정함으로써 에이전트의 의사소통의 의미적 구조를 분석한다.

실험 결과

연구 질문

• RQ1 에이전트는 시각적 환경에서 상호작용적이고 기반화된 의사소통을 통해 이산적이고 상징적인 언어를 창출할 수 있는가?
• RQ2 GRUs를 통한 메모리 사용이 에이전트의 다단계 대화 유지 능력과 맥락에 기반한 의미 적응 능력에 어떤 영향을 미치는가?
• RQ3 통신 채널의 노이즈를 증가시키면 이산적이고 상징적인 의사소통의 출현과 학습 효율성이 향상되는가?
• RQ4 창출된 언어가 이미지의 시각적 특성에 얼마나 잘 기반되어 있는지, 그리고 이는 정량적으로 검증될 수 있는가?
• RQ5 DIAL 프레임워크는 임의의 차원을 가진 수직 메시지를 지원하도록 일반화될 수 있으며, 이는 성능 향상과 해석 가능성 향상에 기여하는가?

주요 결과

• 에이전트들은 머리카락 색상, 얼굴 털, 옷차림과 같은 시각적 특성에 대응하는 단어를 맵핑하는 공유된 기반화된 언어를 창출함으로써 '어느 누군가를 맞추기' 게임을 성공적으로 학습했다.
• 에이전트들은 맥락 민감한 의사소통을 개발하였으며, 1차 질문에 대한 답변에 따라 93%의 2차 질문이 달라져 메모리를 활용한 적응형 상호작용 대화를 보여주었다.
• 학습 중 노이즈를 증가시키면 일정한 노이즈보다 더 빠른 수렴과 더 높은 최종 성능를 달성하여 노이즈가 상징적 추상화에 기여함을 시사한다.
• t-SNE 시각화 결과, 유사한 시각적 특성을 가진 이미지들이 질문-답변 패턴 기반으로 군집되어 있어 언어의 의미적 기반화가 확인되었다.
• DIAL을 임의의 차원을 가진 수직 메시지로 일반화함으로써 시스템 성능 향상과 더불어 이진 또는 저차원 메시지 공간 대비 더 높은 해석 가능성 향상을 달성했다.
• 에이전트 간 파rameter 공유 없이도 뛰어난 성능를 달성하여 더 생물학적으로 타당한 분산 학습 설정을 지원한다.