[논문 리뷰] Exploring Structural Inductive Biases in Emergent Communication.

Agnieszka Słowik, Abhinav Gupta외 4명|arXiv (Cornell University)|2020. 02. 04.

Topic Modeling참고 문헌 22인용 수 8

한 줄 요약

이 논문은 기존의 단어 집합, 순차적, 그래프 구조 기반 사전 지식을 비교함으로써 기계적 의사소통에서의 구조적 인도적 편향을 조사하기 위해 그래프 기반의 참조 게임을 제안한다. 그래프 신경망(GNN)이 다른 아키텍처에 비해 더 강한 조합적 일반화와 구조적 인도적 편향을 유도한다는 것을 입증하였으며, 실험 결과로는 더 높은 정위치 유사도와 도메인 외 조합에 대한 강건성을 보였다.

ABSTRACT

Human language and thought are characterized by the ability to systematically generate a potentially infinite number of complex structures (e.g., sentences) from a finite set of familiar components (e.g., words). Recent works in emergent communication have discussed the propensity of artificial agents to develop a systematically compositional language through playing co-operative referential games. The degree of structure in the input data was found to affect the compositionality of the emerged communication protocols. Thus, we explore various structural priors in multi-agent communication and propose a novel graph referential game. We compare the effect of structural inductive bias (bag-of-words, sequences and graphs) on the emergence of compositional understanding of the input concepts measured by topographic similarity and generalization to unseen combinations of familiar properties. We empirically show that graph neural networks induce a better compositional language prior and a stronger generalization to out-of-domain data. We further perform ablation studies that show the robustness of the emerged protocol in graph referential games.

연구 동기 및 목표

• 다양한 구조적 인도적 편향—단어 집합, 순서, 그래프—이 다중 에이전트 시스템에서 조합적 의사소통의 출현에 어떻게 영향을 미치는지 조사하기.
• 입력의 구조가 기계적 의사소통 프로토콜의 조합성과 일반화에 미치는 영향을 이해하는 데에 미치는 격차를 메우기.
• 입력 개념을 구조적이고 관계적인 데이터로 모델링하는 새로운 그래프 기반 참조 게임을 설계하고 평가하기.
• 다양한 구조적 사전 지식 간에 정위치 유사도와 도메인 외 일반화 성능을 측정하고 비교하기.
• 구조적 구성 요소를 제거했을 때 기대되는 의사소통 프로토콜의 강건성 평가하기.

제안 방법

• 입력 개념을 노드 및 에지로 구성된 그래프로 표현하는 새로운 그래프 기반 참조 게임을 제안하여 관계적 인도적 편향을 제공한다.
• 구조적 입력 표현 기반으로 메시지를 처리하고 생성하기 위해 그래프 신경망(GNN)을 의사소통의 핵심으로 활용한다.
• 에이전트들이 입력을 공유 기호로 매핑하도록 협력하는 참조 게임 환경에서 다중 에이전트 시스템을 훈련시킨다.
• 입력 개념과 기대되는 의사소통 프로토콜 간의 구조적 일치도를 평가하기 위해 정위치 유사도를 지표로 사용한다.
• 기존에 알려진 입력 성질의 조합을 볼 수 없는 경우에 성능을 테스트하여 일반화 능력을 평가한다.
• 그래프 구조의 구성 요소를 제거하는 아블레이션 연구를 수행하여 기대되는 의사소통 프로토콜의 강건성 평가하기.

실험 결과

연구 질문

• RQ1 다양한 구조적 인도적 편향—단어 집합, 순서, 그래프—이 기계적 의사소통 프로토콜의 조합성에 어떻게 영향을 미치는가?
• RQ2 그래프 기반 표현을 사용할 경우, 순차적 또는 순서 없는 표현에 비해 입력 개념과 기대되는 기호 간의 정위치 유사도가 더 높은가?
• RQ3 그래프 기반 의사소통 프로토콜은 기존에 알려진 입력 성질의 새로운 조합에 대해 얼마나 잘 일반화되는가?
• RQ4 핵심 구조적 구성 요소를 제거했을 때 그래프 기반 참조 게임에서 기대되는 의사소통 프로토콜의 강건성은 어느 정도인가?
• RQ5 그래프 신경망은 기존의 순차적 또는 집합 기반 모델에 비해 조합적 언어의 출현에 더 강력한 인도적 편향을 제공할 수 있는가?

주요 결과

• 그래프 기반 의사소통 프로토콜은 순차적 또는 단어 집합 기반 프로토콜에 비해 입력 구조와 훨씬 더 높은 정위치 유사도를 보였다.
• 도메인 외의 기존 입력 성질 조합에 대한 일반화 능력 측면에서, 다른 구조적 사전 지식에 비해 그래프 기반 참조 게임이 더 강력한 일반화 성능을 보였다.
• GNN은 더 구조적이고 조합적인 인도적 편향을 유도하여 더 체계적이고 해석 가능한 기계적 의사소통을 가능하게 하였다.
• 아블레이션 연구 결과, 그래프 구조가 의사소통 프로토콜의 강건성과 성능 유지에 필수적임을 확인하였다.
• 그래프 기반 환경에서 기대되는 언어는 구조적 교란에 더 강건하여 안정적이고 구조적인 학습이 이루어지고 있음을 시사한다.
• 결과적으로, 그래프 기반 인도적 편향은 다중 에이전트 의사소통에서 조합적 이해를 촉진하는 데 특히 효과적임을 시사한다.