[논문 리뷰] Compositional Obverter Communication Learning From Raw Visual Input

Edward Choi, Angeliki Lazaridou외 1명|arXiv (Cornell University)|2018. 04. 06.

Multimodal Machine Learning Applications인용 수 36

한 줄 요약

이 논문은 원시 이미지 픽셀에서 직접 구성적이고 이산적인 통신을 학습할 수 있도록 하는 방법을 제안한다. 이는 오브버터 기법을 사용하여 에이전트가 자기 자신에 대한 이해를 향상시키기 위해 내재적으로 메시지를 생성하는 방식이다. 에이전트들은 설계된 특징 없이도 구조적이고 구성적인 언어를 개발하였으며, 이는 정성적 분석, 시각화 및 제로샷 일반화를 통해 입증되었다.

ABSTRACT

One of the distinguishing aspects of human language is its compositionality, which allows us to describe complex environments with limited vocabulary. Previously, it has been shown that neural network agents can learn to communicate in a highly structured, possibly compositional language based on disentangled input (e.g. hand- engineered features). Humans, however, do not learn to communicate based on well-summarized features. In this work, we train neural agents to simultaneously develop visual perception from raw image pixels, and learn to communicate with a sequence of discrete symbols. The agents play an image description game where the image contains factors such as colors and shapes. We train the agents using the obverter technique where an agent introspects to generate messages that maximize its own understanding. Through qualitative analysis, visualization and a zero-shot test, we show that the agents can develop, out of raw image pixels, a language with compositional properties, given a proper pressure from the environment.

연구 동기 및 목표

• 손으로 설계한 특징에 의존하지 않고 원시 시각 입력에서 구성적 통신을 학습할 수 있는지 여부를 조사하기 위해.
• 내재된 동기부여(오브버터 기법)가 외부 감독 없이도 구조적이고 이산적인 통신의 출현을 어떻게 이끌 수 있는지 탐구하기 위해.
• 원시 이미지 픽셀에서 훈련할 경우, 의미가 이산적이고 재사용 가능한 기호로 구성되는 언어를 에이전트가 얼마나 개발할 수 있는지 평가하기 위해.
• 학습된 언어가 새로운 이미지 구성에서 제로샷 일반화 능력을 얼마나 갖추고 있는지 평가하기 위해.

제안 방법

• 에이전트들은 원시 이미지 픽셀을 관찰하고 메시지로 이산 기호의 시퀀스를 생성하는 협동적 이미지 기반 설명 게임에서 훈련된다.
• 오브버터 기법이 적용되며, 이는 에이전트가 스스로의 이미지 이해를 극대화하기 위해 내재적으로 메시지를 생성함으로써 내재된 감독을 만든다.
• 훈련 과정은 에이전트의 내부 이미지 이해 기반으로 통신 정책을 최적화하기 위해 미분 가능한 정책 기반 강화 학습 방법을 사용한다.
• 에이전트의 시각적 인식과 언어 생성은 설계된 특징 없이 원시 픽셀에서부터 종단 간(end-to-end)으로 공동으로 훈련된다.
• 구성적 성질은 정성적 분석, 주의 메커니즘의 시각화, 그리고 이미지 요소의 새로운 조합에 대한 제로샷 테스트를 통해 평가된다.

실험 결과

연구 질문

• RQ1 원시 이미지 픽셀에서만 훈련된 신경 에이전트가 이산적이고 구성적인 언어로 소통할 수 있는가?
• RQ2 오브버터 기법이 외부 감독 없이도 구조적 통신의 출현을 효과적으로 이끌 수 있는가?
• RQ3 제로샷 설정에서 새로운 이미지 요소 조합에 대해 학습된 언어가 얼마나 일반화되는가?
• RQ4 에이전트의 내재적 표현과 주의 메커니즘은 생성된 언어의 구성적 구조를 어떻게 반영하는가?

주요 결과

• 정성적 분석을 통해 메시지 구조와 주의 패턴을 바탕으로, 에이전트들이 원시 이미지 픽셀에서 이산적이고 구성적인 언어를 성공적으로 개발했다.
• 주의 메커니즘의 시각화 결과, 에이전트들이 특정 기호를 색상, 형태와 같은 특정 시각적 요소와 연관지워 학습한 것으로 나타났다.
• 에이전트들은 훈련 중에 볼 수 없었던 새로운 이미지 요소 조합에 대해 정확하게 설명하는 강력한 제로샷 일반화 능력을 보였다.
• 오브버터 기법은 자기 이해 기반의 내재 피드백을 제공함으로써 구조적 통신의 출현을 효과적으로 이끌었다.