[논문 리뷰] Emergent Graphical Conventions in a Visual Communication Game

Shuwen Qiu, Sirui Xie외 5명|arXiv (Cornell University)|2021. 11. 28.

Aesthetic Perception and Analysis참고 문헌 45인용 수 5

한 줄 요약

이 논문은 두 명의 에이전트가 시각적 개념을 전달하기 위해 추상적인 스케치를 공동으로 발전시키는 시각적 의사소통 게임에서 그래픽적 관례의 탄생을 모델링하기 위한 강화학습 프레임워크를 제안한다. 주요 기여는 적절한 훈련 조건 하에서 에이전트가 상징적, 상징적이고 의미적으로 구조화된 스케치로 공진화할 수 있음을 보여주는 것이다. 이 과정에서 시각적 유사성과 카테고리 간 관계를 유지한다.

ABSTRACT

Humans communicate with graphical sketches apart from symbolic languages. Primarily focusing on the latter, recent studies of emergent communication overlook the sketches; they do not account for the evolution process through which symbolic sign systems emerge in the trade-off between iconicity and symbolicity. In this work, we take the very first step to model and simulate this process via two neural agents playing a visual communication game; the sender communicates with the receiver by sketching on a canvas. We devise a novel reinforcement learning method such that agents are evolved jointly towards successful communication and abstract graphical conventions. To inspect the emerged conventions, we define three fundamental properties -- iconicity, symbolicity, and semanticity -- and design evaluation methods accordingly. Our experimental results under different controls are consistent with the observation in studies of human graphical conventions. Of note, we find that evolved sketches can preserve the continuum of semantics under proper environmental pressures. More interestingly, co-evolved agents can switch between conventionalized and iconic communication based on their familiarity with referents. We hope the present research can pave the path for studying emergent communication with the modality of sketches.

연구 동기 및 목표

• 시각적 의사소통에서 그래픽적 관례의 진화를 모델링하고 시뮬레이션하며, 상징적 표현으로의 전이에 초점을 맞춘다.
• 사전 정의된 상징어휘가 없는 상황에서 에이전트가 상징성과 상징성을 어떻게 균형 잡는지 조사한다.
• 상징성, 상징성, 의미성이라는 세 가지 핵심 성질을 사용하여 그래픽적 관례의 탄생을 평가한다.
• 진화한 스케치가 인간의 인지 과정을 반영하여 개념 간의 시각적 및 의미적 관계를 유지하는지 탐색한다.
• 향후 시각적 모odal에서 상징어를 초월한 잠재적 의사소통 연구의 기초를 마련한다.

제안 방법

• 두 명의 에이전트로 구성된 시각적 의사소통 게임을 순차적 결정 과정으로 정의하며, 송신자는 캔버스에 스트로크의 시퀀스를 생성하고 수신자는 스케치를 평가한다.
• 통신 채널을 통해 효과적인 역전파를 가능하게 하기 위해 공동 가치 함수와 유인성 추적을 사용하는 새로운 강화학습 방법을 제안하며, REINFORCE나 독립적 가치 함수 방법과는 다릅니다.
• 스트로크는 이산 토큰이 아니라 연속적으로 매개변수화되어 있어 훈련 중 더 매끄러운 기울기 흐름과 더 나은 함수 근사가 가능하다.
• 프레임워크는 몬테카를로 샘플링과 함수 근사를 통합하여 복잡하고 추상적인 스케치 간의 상관관계를 에이전트가 더 잘 인지하도록 한다.
• 딥 페러미터 VGG 네트워크와 word2vec 임베딩을 사용하여 상징성, 상징성, 의미성이라는 세 가지 평가 지표를 정의한다.
• t-SNE 시각화와 거리 상관 분석을 통해 진화한 스케치 임베딩의 지형적 구조가 이미지 공간과 의미 공간과 어떻게 관련되어 있는지 평가한다.

실험 결과

연구 질문

• RQ1 에이전트는 상징적 토큰에 의존하지 않고 시각적 의사소통 게임에서 어떻게 그래픽적 관례를 진화시킬 수 있는가?
• RQ2 진화한 스케치가 얼마나 잘 상징성(시각적 유사성)을 유지하면서도 상징성(의도적 약속성)을 발전시킬 수 있는가?
• RQ3 진화한 스케치의 임베딩 공간에서 개념 간 의미 관계가 유지되는가?
• RQ4 초기 의사결정 및 상호 적응과 같은 환경적 요인이 관례의 탄생에 어떤 영향을 미치는가?
• RQ5 에이전트가 참조 대상에 익숙해짐에 따라 상징적 표현과 전통적 표현 간에 동적으로 전환할 수 있는가?

주요 결과

• 제안된 강화학습 프레임워크는 연속적인 스트로크를 사용하여 송신자와 수신자 에이전트가 효과적인 시각적 의사소통을 위해 공동 진화하도록 성공적으로 가능하게 한다.
• 진화한 스케치는 상징성과 상징성 사이에 명확한 상충 관계를 보이며, 에이전트가 비필수적인 특징을 점차 추상화하면서도 중요한 부분(예: 닭의 부리, 기린의 목)을 유지한다.
• 의미성은 유지된다: t-SNE 시각화에서 의미적으로 유사한 카테고리(예: 소, 사슴, 말)는 임베딩 공간에서 가까이 유지되며, 스케치와 word2vec 특징 간의 거리 상관관계도 유의미하다.
• 완전한 훈련 설정은 의미적 구조 유지 측면에서 검색 기반 베이스라인보다 뛰어나며, 스케치와 의미 임베딩 간의 인스턴스 간 거리 상관관계가 더 높다는 점에서 이를 입증한다.
• 스케치 진화는 비단조화적인 패턴을 보인다: 복잡성이 초기에 증가한 후 단순화되며, 추상화 이전의 탐색 단계를 나타낸다.
• 에이전트는 맥락에 따라 의사소통 방식을 변경한다: 참조 대상에 익숙한 정도에 따라 상징적 표현과 전통적 표현 간에 유연하게 전환할 수 있으며, 이는 시각적 관례의 적응적 사용을 시사한다.