[논문 리뷰] How agents see things: On visual representations in an emergent language game

Diane Bouchacourt, Marco Baroni|arXiv (Cornell University)|2018. 08. 31.

Language and cultural evolution참고 문헌 13인용 수 8

한 줄 요약

이 논문은 실제 이미지를 사용하여 기술된 언어 게임 동안 인공 에이전트가 어떻게 시각적 표현을 발달시키는지 조사한다. 성공적인 의사소통에도 불구하고, 에이전트는 인간처럼 의미적으로 기반된 개념적 물체 성질이 아닌 저수준의 관계적 이미지 특징에 의존하게 된다. 이는 에이전트가 무작위 노이즈에 대해 조차도 높은 성능을 달성함으로써, 그들의 시각적 표현에 인간과 유사한 의미 기반의 결여를 시사한다.

ABSTRACT

There is growing interest in the language developed by agents interacting in emergent-communication settings. Earlier studies have focused on the agents' symbol usage, rather than on their representation of visual input. In this paper, we consider the referential games of Lazaridou et al. (2017) and investigate the representations the agents develop during their evolving interaction. We find that the agents establish successful communication by inducing visual representations that almost perfectly align with each other, but, surprisingly, do not capture the conceptual properties of the objects depicted in the input images. We conclude that, if we are interested in developing language-like communication systems, we must pay more attention to the visual semantics agents associate to the symbols they use.

연구 동기 및 목표

• 기본 상징적 사용을 넘어서, 잠재적인 시각적 표현을 분석함으로써 기술된 언어 게임 동안 에이전트가 시각 입력을 어떻게 표현하는지 조사하는 것.
• 에이전트가 인간이 인식할 수 있는 물체 성질과 일치하는 개념 수준의 시각적 표현을 발달시키는지 확인하는 것.
• 참조 게임에서 성공적인 의사소통이 시각 입력에 의미적인 의미 기반을 암시하는지 평가하는 것.
• 에이전트의 표현이 지각적 입력을 충실하게 유지하는지 아니면 임의의 관계적 차이로 흐려지는지 평가하는 것.

제안 방법

• ImageNet 이미지에서 4096차원의 이미지 특징을 추출하기 위해 사전 훈련된 VGG-16 네트워크를 사용하여 Lazaridou 등(2017)의 송신자-수신자 아키텍처를 재현하였다.
• 두 가지 변형인 동일 이미지 및 다른 이미지 게임에서, 통신 성공률을 최적화하기 위해 REINFORCE 정책 기반 강화 학습을 사용하여 에이전트를 훈련시켰다.
• 100개의 이산어휘 기호를 사용하고, 실제 이미지 쌍과 무작위 노이즈 벡터를 포함한 보류된 테스트 세트에서 성능을 평가하였다.
• 교차 검증된 성능 지표를 계산하였으며, 입력 교환에 따른 평균 보상 및 기호 안정성 등을 포함하였다.
• 입력, 송신자, 수신자 공간에서 이미지 쌍 간의 표현 유사도를 z-정규화된 코사인 유사도로 측정하였다.
• 에이전트가 개념적 특징이 아닌 지각적 특징에 의존하는지 평가하기 위해 노이즈 입력에 대한 의사소통의 강건성 테스트를 실시하였다.

실험 결과

연구 질문

• RQ1 기술된 언어 게임에서 에이전트는 묘사된 물체의 개념적 성질을 반영하는 시각적 표현을 발달시키는가?
• RQ2 송신자와 수신자 내부 표현 간의 일치 정도는 어느 정도이며, 이는 입력 표현과 어떻게 다를까?
• RQ3 의미적 내용이 전혀 없는 입력, 예를 들어 무작위 노이즈에 대해 에이전트가 성공적으로 의사소통할 수 있는가?
• RQ4 의사소통 전략은 절대적 이미지 특징에 기반하는가, 아니면 입력 간의 상대적 비교에 기반하는가?
• RQ5 게임 설정이 안정적이고 개념적으로 기반된 단어 의미의 출현을 장려하는가?

주요 결과

• 동일 이미지 및 다른 이미지 게임에서 훈련된 에이전트는 노이즈 입력 쌍에서 평균 보상이 95% 이상을 달성하여, 개념적 내용 없이도 의사소통이 가능함을 시사한다.
• 노이즈에서의 성능은 실제 이미지에서의 성능(동일 이미지 게임에서 95% 대비 100%)과 유사하여, 에이전트가 의미적 내용에 민감하지 않음을 보여준다.
• 높은 의사소통 성공에도 불구하고, 송신자 및 수신자 공간의 시각적 표현은 개념적 유사성을 유지하지 못했다 — 같은 개념의 이미지가 에이전트 공간에서 떨어져 나갔다 (입력 공간 대비 평균 유사도: 1.07 대비 1.94).
• 클래스 내 이미지 유사도는 송신자 공간에서 증가했다 (입력 공간 대비 0.75 대비 0.61), 이는 일부 구조는 유지되지만 개념적 성질은 아니라는 것을 시사한다.
• 노이즈 쌍의 99% 이상에서 타겟을 교환했을 때 가장 확률이 높은 기호가 변화했으며, 이는 에이전트가 절대적 특징이 아닌 상대적 비교에 의존함을 확인한다.
• 에이전트는 인간 수준의 물체 개념과 대응하지 않는 공통의 안정된 의사소통 체계를 수립하였으며, 이는 임의의 관계적 차이에 기반한 '개념적 동맹'을 형성하였다.