[논문 리뷰] Learning to Draw: Emergent Communication through Sketching

Daniela Mihai, Jonathon Hare|ePrints Soton (University of Southampton)|2021. 06. 03.

Multimodal Machine Learning Applications참고 문헌 37인용 수 5

한 줄 요약

이 논문은 신경망 에이전트가 참조 게임에서 그림을 통해 시각적 개념을 전달하도록 학습하는 가분성 있는 스케치 기반 커뮤니케이션 프레임워크를 제안한다. 인지적 손실을 통합함으로써 에이전트는 인간이 이해할 수 있는 스케치를 생성하면서도 높은 작업 성능를 유지한다. 이는 다중 에이전트 시스템에서 상징적 언어의 자율적 해석 가능한 대안으로서 시각적 커뮤니케이션이 어떻게 기능할 수 있는지를 보여준다.

ABSTRACT

Evidence that visual communication preceded written language and provided a basis for it goes back to prehistory, in forms such as cave and rock paintings depicting traces of our distant ancestors. Emergent communication research has sought to explore how agents can learn to communicate in order to collaboratively solve tasks. Existing research has focused on language, with a learned communication channel transmitting sequences of discrete tokens between the agents. In this work, we explore a visual communication channel between agents that are allowed to draw with simple strokes. Our agents are parameterised by deep neural networks, and the drawing procedure is differentiable, allowing for end-to-end training. In the framework of a referential communication game, we demonstrate that agents can not only successfully learn to communicate by drawing, but with appropriate inductive biases, can do so in a fashion that humans can interpret. We hope to encourage future research to consider visual communication as a more flexible and directly interpretable alternative of training collaborative agents.

연구 동기 및 목표

• 기존 상징적 언어의 대안으로서 시각적 커뮤니케이션이 기능할 수 있는지, 다중 에이전트 커뮤니케이션에서 더 해석 가능한 방식으로 기능하는지 탐색하기 위해.
• 가분성 있는 스케치 기반 기술이 에이전트가 효과적이고 인간이 이해할 수 있는 커뮤니케이션 프로토콜을 학습할 수 있도록 하는지 조사하기 위해.
• 내재된 편향과 손실 함수가 기능적으로나 해석 가능성에 어떻게 영향을 미치는지 분석하기 위해.
• 사람들이 훈련된 에이전트가 생성한 스케치를 참조 게임 환경에서 성공적으로 해독할 수 있는지 평가하기 위해.
• 인공 에이전트 간의 시각적 커뮤니케이션의 진화 과정—초기 스케치에서 상징어 및 글자로의 전환을 연구하기 위한 기초를 마련하기 위해.

제안 방법

• 에이전트는 딥 네트워크로 파arameter화되며, 연속 곡선으로 구성된 스트로크를 생성하는 가분성 있는 그림 그리기 과정을 사용한다.
• 프레임워크는 한 에이전트가 대상 이미지를 스케치로 그린 후, 다른 에이전트가 후보 이미지 집합에서 정확한 이미지를 추측하는 참조 커뮤니케이션 게임을 사용한다.
• 훈련은 추측 정확도를 극대화하기 위한 게임 손실과, 정답 이미지와의 시각적 유사도를 향상시키기 위한 인지적 손실을 조합한 손실 함수를 사용한다.
• 시각적 인코더에 형태 편향과 같은 내재된 편향을 도입하여 에이전트가 더 상징적이고 해석 가능한 스케치를 향해 유도한다.
• 인지적 손실은 사전 훈련된 CNN(예: VGG)의 특징을 사용하여 생성된 스케치의 구조적 및 의미적 유사도를 장려한다.
• 실험은 표준 게임 손실, 인지적 손실, 객체 중심 게임, 다양한 수의 오락물 수를 고려한 설정 간의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 에이전트는 명시적인 인간 감시 없이도 참조 게임에서 스케치를 통해 효과적으로 커뮤니케이션을 학습할 수 있는가?
• RQ2 훈련 목표에 인지적 손실을 추가하면 임의의 스케치의 인간 해석 가능성은 향상되지만 작업 성능은 저하되지 않는가?
• RQ3 게임 목표의 변화—예를 들어 객체 중심 게임 대 이미지 기반 게임—는 기능적으로나 기대되는 시각적 커뮤니케이션 양식에 어떤 영향을 미치는가?
• RQ4 시각 시스템 내부의 내재된 편향이 스케치의 상징적 또는 상징어적 성격에 얼마나 영향을 미치는가?
• RQ5 인지적 손실로 훈련된 에이전트가 생성한 스케치를 인간이 실제 상호작용 환경에서 성공적으로 해독할 수 있는가?

주요 결과

• 단지 게임 손실만으로 훈련된 에이전트는 인간이 이해할 수 없는 스케치를 생성했으며, 인간 추측 과제에서 정확도는 8.3%에 그쳤다(랜덤 추측 기준: 10%).
• 인지적 손실을 추가함으로써 인간의 추측 정확도는 38.3%로 상승했고, 클래스 식별 정확도는 55.6%로 상승하여 랜덤 추측보다 유의미하게 높아졌다.
• 오락물 수를 50개로 늘였을 때도 인지적 손실로 훈련된 에이전트의 인간 성능은 스케치 인식 정확도 37.2%와 클래스 식별 정확도 47.8%로 여전히 우수했다.
• 객체 중심 게임은 더 상징적이고 추상적인 스케치를 유도했으며, 이는 작업 설계가 기능적으로나 기대되는 시각적 커뮤니케이션의 형태에 영향을 미친다는 것을 시사한다.
• 시각 시스템에 형태 편향이 있으면 스케치의 해석 가능성은 향상되었으며, 이는 내부의 내재된 편향이 커뮤니케이션 스타일에 영향을 미친다는 것을 의미한다.
• 사람들은 인지적 손실로 훈련된 에이전트가 생성한 스케치를 성공적으로 해독했으며, 이는 커뮤니케이션 프로토콜이 직접 해석 가능하고 인간-에이전트 상호작용에 활용 가능하다는 것을 입증한다.