[논문 리뷰] Interpretable agent communication from scratch (with a generic visual processor emerging on the side)

Roberto Dessì, Eugene Kharitonov외 1명|arXiv (Cornell University)|2021. 06. 08.

Domain Adaptation and Few-Shot Learning참고 문헌 46인용 수 9

한 줄 요약

이 논문은 자연 이미지 내에서 참조적 통신를 위한 이산적이고 해석 가능한 통신 프로토콜을 개발하기 위해, 사전 훈련된 시각적 인코더 없이 두 개의 딥 네ural 네트워크를 처음부터 훈련하는 방법을 제안한다. 대조 학습을 영감으로 한 설정을 사용하여, 에이전트들은 새로운 카테고리의 물체조차도 잠재적 상징을 통해 참조하게 되며, 同시에 SimCLR와 같은 최신 자기지도 학습 모델과 비교해도 열등하지 않은 고품질의 일반적인 시각적 특징을 개발한다.

ABSTRACT

As deep networks begin to be deployed as autonomous agents, the issue of how they can communicate with each other becomes important. Here, we train two deep nets from scratch to perform realistic referent identification through unsupervised emergent communication. We show that the largely interpretable emergent protocol allows the nets to successfully communicate even about object types they did not see at training time. The visual representations induced as a by-product of our training regime, moreover, show comparable quality, when re-used as generic visual features, to a recent self-supervised learning model. Our results provide concrete evidence of the viability of (interpretable) emergent deep net communication in a more realistic scenario than previously considered, as well as establishing an intriguing link between this field and self-supervised visual learning.

연구 동기 및 목표

• 사전 훈련된 시각적 특징 없이, 완전히 엔드 투 엔드로 해석 가능한 잠재 통신 프로토콜을 개발하는 것.
• 참조 게임에서의 잠재 통신가능성이 고품질의 일반적인 시각적 표현을 유도할 수 있는지 조사하는 것.
• 프로토콜이 훈련 중에 보지 못한 물체 카테고리로의 일반화 능력과 인간에 의한 해석 가능성 평가하는 것.
• 공동 훈련 목표를 통해 잠재 통신과 자기지도 학습 기반 시각적 표현 학습을 연결하는 것.
• 실제로 큰 규모의 이미지 환경에서 이산적이고 해석 가능한 통신가능성이 처음부터 유도될 수 있음을 보여주는 것.

제안 방법

• 대규모 데이터셋의 자연 이미지를 사용하여 사전 훈련된 시각적 인코더 없이, 에이전트들이 참조 게임을 플레이한다.
• 대조 학습 목표를 사용하여, 수신자가 다른 목표 물체에 대해 구분 가능한 상징을 생성하도록 유도하며, 동시에 수신자는 교란 물체 집합에서 정확한 목표를 식별해야 한다.
• 자기지도 학습에서 영감을 얻어 입력 데이터 증강을 적용하여 내성성과 일반화 능력을 향상시킨다.
• 에이전트가 학습한 시각적 표현을 추출하여, 후속 분류 벤치마크에서 일반적인 특징으로 평가한다.
• 심층 분석을 통해 상징-물체 대응 관계와 카테고리 간 일관성을 분석하여 프로토콜의 해석 가능성 평가한다.
• 모델은 EGG 프레임워크를 사용하여 구현되었으며, 무작위 초기화에서부터 엔드 투 엔드로 훈련되었다.

실험 결과

연구 질문

• RQ1 딥 에이전트들이 참조 게임 성능만을 훈련 신호로 사용하여, 처음부터 이산적이고 해석 가능한 통신 프로토콜을 학습할 수 있는가?
• RQ2 통신 훈련 과정에서 학습된 시각적 표현이 후속 비전 작업으로 일반화되는가?
• RQ3 잠재 통신 프로토콜이 훈련 중에 보지 못한 물체 카테고리로 일반화되는가?
• RQ4 잠재적으로 유도된 시각적 특징의 품질이 최신 자기지도 학습 방법과 비교해 어떻게 되는가?
• RQ5 잠재 통신 프로토콜의 해석 가능성은 어느 정도이며, 이는 비지도 이미지 주석의 한 형태로 볼 수 있는가?

주요 결과

• 에이전트들은 훈련 중에 보지 못한 물체 카테고리조차도 정확한 참조적 통신이 가능한 이산적이고 부분적으로 해석 가능한 통신 프로토콜을 성공적으로 학습하였다.
• 유도된 시각적 표현은 SimCLR와 비교해도 유사한 분류 성능를 기록하였다. SimCLR는 시각적 특징 학습을 위해 특별히 설계된 자기지도 학습 방법이다.
• 프로토콜은 제로샷 물체 카테고리로의 일반화가 가능하여, 상징이 저수준의 이미지 특징이 아니라 의미론적 카테고리를 나타낸다는 것을 시사한다.
• 입력 데이터 증강의 사용은 통신과 시각적 표현 학습의 내성성과 품질을 크게 향상시켰다.
• 통신 훈련의 부산물로 생성된 시각적 표현은 고품질이며, 다양한 비전 작업 간에 효과적으로 재사용될 수 있다.
• 결과는 잠재 통신과 자기지도 학습 기반 시각적 표현 학습 간에 강력한 연관성이 있음을 보여주며, 향후 통합에서 상호 이점이 있을 수 있음을 시사한다.