[논문 리뷰] Avoiding hashing and encouraging visual semantics in referential emergent language games

Daniela Mihai, Jonathon Hare|arXiv (Cornell University)|2019. 11. 13.

Language and cultural evolution참고 문헌 13인용 수 4

한 줄 요약

이 논문은 이미지 해싱에 의존하지 않고 시각적 의미를 포착하기 위해 다중 에이전트 참조 게임에서 잠재적 의사소통를 유도하는 방법을 조사한다. 입력 증강(노이즈, 회전)을 도입하고 자체 학습 회전 예측 작업을 추가함으로써, 저자들은 사전 훈련 없이도 엔드 투 엔드로 훈련된 모델이 의미 기반 언어를 학습할 수 있음을 보여주며, 84%의 회전 예측 정확도를 달성하고 해시 기반 솔루션보다 더 나은 의미 기반 통합을 이룬다.

ABSTRACT

There has been an increasing interest in the area of emergent communication between agents which learn to play referential signalling games with realistic images. In this work, we consider the signalling game setting of Havrylov and Titov and investigate the effect of the feature extractor's weights and of the task being solved on the visual semantics learned or captured by the models. We impose various augmentation to the input images and additional tasks in the game with the aim to induce visual representations which capture conceptual properties of images. Through our set of experiments, we demonstrate that communication systems which capture visual semantics can be learned in a completely self-supervised manner by playing the right types of game.

연구 동기 및 목표

• 참조 게임에서의 잠재적 언어가 이미지 해싱에 의존하지 않고 시각적 의미를 포착할 수 있는지 조사한다.
• 사전 훈련된, 무작위로 초기화된, 엔드 투 엔드로 학습된 다양한 시각적 특징 추출기 가중치의 영향을 의미 기반 통합에 대해 분석한다.
• 추가 작업(예: 회전 예측)을 게임에 도입함으로써 더 의미 기반의 의사소통을 유도할 수 있는지 평가한다.
• 인간이 애너테이션한 시각적 의미가 전혀 없는 완전한 자체 학습 훈련 절차가 의미 기반 언어를 생성할 수 있는지 확인한다.
• 노이즈, 회전과 같은 입력 수준의 증강이 의사소통 시스템에서 시각적 의미의 출현을 향상시키는지 탐구한다.

제안 방법

• CIFAR-10 이미지와 최대 5단어 메시지 길이를 가진 Havrylov와 Titov의 참조 게임 수정 버전을 사용한다.
• 이산 토큰 생성을 위해 Straight-Through Gumbel-Softmax를 사용하고, 정확한 이미지 선택을 최대화하기 위해 힌지 손실을 적용하여 엔드 투 엔드로 모델을 훈련한다.
• 송신자 입력 이미지에만 색상 조정, 무작위 플립, Grayscale, 노이즈, 90도 회전 등의 데이터 증강을 적용한다.
• 두 번째 작업으로, 한 에이전트가 송신자의 입력 이미지의 회전을 예측하도록 하여 객체 수준의 이해를 촉진한다.
• ImageNet 사전 훈련된 가중치를 고정, 랜덤 초기화 후 동결, 엔드 투 엔드로 학습된 가중치를 갖는 다양한 CNN 가중치 설정으로 모델을 훈련한다.
• 훈련 안정성과 재현 가능성을 향상시키기 위해 송신자 및 수신자 모두의 CNN과 LSTM 뒤에 BatchNorm 레이어를 적용한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 시각적 특징 추출기가 참조 게임에서 잠재적 언어가 포착하는 시각적 의미에 얼마나 기여하는가?
• RQ2 노이즈와 회전과 같은 입력 수준의 증강이 에이전트가 이미지 해싱 대신 의미 기반 표현을 학습하도록 유도할 수 있는가?
• RQ3 자기 학습 회전 예측 작업을 추가함으로써 다중 작업 학습 환경에서 더 의미 기반의 의사소통이 이루어지는가?
• RQ4 완전히 자체 학습된 엔드 투 엔드 훈련 절차가 어떤 지도 학습 없이도 개념적 시각적 특성을 반영하는 잠재적 언어를 생성할 수 있는가?
• RQ5 다양한 CNN 가중치 초기화 전략(사전 훈련, 랜덤, 엔드 투 엔드 학습)이 의사소통 성공률와 의미 기반 통합의 균형에 어떤 영향을 미치는가?

주요 결과

• 사전 훈련된 고정된 VGG-16 특징 추출기가 노이즈 증강 하에서 가장 높은 의사소통 성공률(92%)과 상위 5개 정확도(99%)를 기록하여 강력한 의미 기반 통합을 보였다.
• 회전 증강을 적용한 엔드 투 엔드로 학습된 모델은 92%의 의사소통 성공률과 100%의 상위 5개 정확도를 달성하여, 사전 훈련 없이도 의미 기반 통합이 가능함을 보여주었다.
• 회전 예측 작업을 추가함으로써 송신자가 예측하는 설정에서 84%의 회전 정확도를 기록하여, 모델이 객체 수준의 구조를 인식하는 데 성공했다고 볼 수 있다.
• 랜덤으로 초기화하고 동결한 CNN은 노이즈 증강 하에서 96%의 의사소통 성공률를 기록하여, 과제가 도전적일 경우 사전 훈련 없이도 높은 성능이 가능함을 시사한다.
• 회전 증강 하에서 사전 훈련된 모델의 의사소통 성공률가 약간 감소(83%)하여, 사전 훈련이 기하학적 변형에 대한 강건성과 충돌할 수 있음을 시사한다.
• 회전 예측 작업을 포함한 엔드 투 엔드 모델은 타겟 클래스 평균 순위 43.41을 기록하여, 해시 기반 솔루션보다 인간의 시각적 의미 개념과 더 잘 일치함을 나타냈다.