[논문 리뷰] Linking Emergent and Natural Languages via Corpus Transfer

Shunyu Yao, Mo Yu외 4명|arXiv (Cornell University)|2022. 03. 24.

Multimodal Machine Learning Applications인용 수 7

한 줄 요약

이 논문은 이미지 입력과 Gumbel-softmax 정규화된 이산 토큰 출력을 사용하여 두 에이전트 간의 잠재적 의사소통 게임을 훈련시켜 생성한 합성 EC 어휘집을 기반으로, 사전 훈련된 언어 모델을 활용해 임베딩된 언어 표현을 도입함으로써 임베딩된 언어 모델을 사용하여 이미지 캡션 생성 작업을 향상시키는 방법을 제안한다. MS-COCO 데이터셋에서 EC 기반 언어 표현을 사용해 미세조정함으로써, 특히 제한된 자연어 데이터가 존재할 경우, 훈련을 처음부터 시작하는 것보다 더 빠른 적응을 달성한다. 풍부한 자연어 데이터가 존재할 때조차도 이는 성능을 뛰어넘는다.

ABSTRACT

The study of language emergence aims to understand how human languages are shaped by perceptual grounding and communicative intent. Computational approaches to emergent communication (EC) predominantly consider referential games in limited domains and analyze the learned protocol within the game framework. As a result, it remains unclear how the emergent languages from these settings connect to natural languages or provide benefits in real-world language processing tasks, where statistical models trained on large text corpora dominate. In this work, we propose a novel way to establish such a link by corpus transfer, i.e. pretraining on a corpus of emergent language for downstream natural language tasks, which is in contrast to prior work that directly transfers speaker and listener parameters. Our approach showcases non-trivial transfer benefits for two different tasks -- language modeling and image captioning. For example, in a low-resource setup (modeling 2 million natural language tokens), pre-training on an emergent language corpus with just 2 million tokens reduces model perplexity by $24.6\%$ on average across ten natural languages. We also introduce a novel metric to predict the transferability of an emergent language by translating emergent messages to natural language captions grounded on the same images. We find that our translation-based metric highly correlates with the downstream performance on modeling natural languages (for instance $ρ=0.83$ on Hebrew), while topographic similarity, a popular metric in previous work, shows surprisingly low correlation ($ρ=0.003$), hinting that simple properties like attribute disentanglement from synthetic domains might not capture the full complexities of natural language. Our findings also indicate potential benefits of moving language emergence forward with natural language resources and models.

연구 동기 및 목표

• 잠재적 의사소통(EM) 언어가 자연어의 후행 작업에 효과적으로 전이될 수 있는지 조사하기 위해
• 시각-언어 작업에서 자연어 모델의 사전 훈련 데이터로 EC가 생성한 어휘집을 사용할 수 있는지 탐색하기 위해
• 다양한 양의 후행 자연어 데이터에서 EC 기반 사전 훈련이 이미지 캡션 성능에 미치는 영향을 평가하기 위해
• 저자원 및 고자원 설정에서 EC 기반 사전 훈련과 처음부터 훈련하는 것, 자연어 사전 훈련을 비교하기 위해

제안 방법

• 저자들은 이미지 입력과 Gumbel-softmax 정규화된 이산 토큰 출력을 사용하여 두 에이전트 간의 잠재적 의사소통 게임을 훈련시켜 합성 EC 어휘집을 생성한다.
• EC가 생성한 텍스트를 언어 모델 친화적인 형식으로 추출하고 전처리하며, 어휘량을 4,035개 단어로 제한하고 온도 1인 소프트 Gumbel-softmax를 사용한다.
• 최적의 초모수를 사용하여 Hugging Face의 run_clm.py 스크립트를 통해 MS-COCO 이미지 캡션 데이터에서 사전 훈련된 언어 모델을 미세조정한다: 사전 훈련 학습률 5×10⁻⁴, 배치 크기 32, 체크포인트 3,000 스텝, 미세조정 학습률 10⁻⁴, 배치 크기 8.
• 다양한 후행 데이터 스케일(5k, 50k, 전체 MS-COCO)에서 EC 기반 사전 훈련, 처음부터 훈련, 자연어 어휘집(스페인어, EC, paren-zipf) 기반 사전 훈련을 비교한다.
• 이미지 특징은 VinVL의 사전 처리된 검출 특징에서 추출되며, 캡션 모델은 기본 설정을 사용한 FAIRSEQ 기반 코드베이스를 통해 훈련된다.
• 다양한 미세조정 에포크와 데이터 제약 조건에서 검증 세트에서 CIDEr 점수를 사용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 잠재적 의사소통 언어는 자연어 시각-언어 작업의 성능 향상에 효과적으로 전이될 수 있는가?
• RQ2 EC가 생성한 어휘집에서의 사전 훈련은 자연어 어휘집에서의 사전 훈련과 비교해 후행 이미지 캡션 성능에 어떻게 영향을 미치는가?
• RQ3 후행 자연어 데이터가 제한적일 경우 EC 기반 사전 훈련이 성능 우위를 제공하는가?
• RQ4 후행 훈련 데이터의 양이 증가함에 따라 EC 사전 훈련과 처음부터 훈련하는 것 사이의 성능 격차는 어떻게 변화하는가?

주요 결과

• EC가 생성한 어휘집에서의 사전 훈련은 처음부터 훈련하는 것보다 수렴 속도가 빠르고 성능이 뛰어나며, 특히 MS-COCO 샘플 5,000개만을 미세조정에 사용할 경우 두드러진다.
• 50,000개 이상의 후행 샘플이 존재할 경우, EC 사전 훈련과 처음부터 훈련하는 것 사이의 성능 격차는 시간이 지남에 따라 줄어들지만, 여전히 초기 단계에서 EC 사전 훈련이 유리하다.
• 어휘량(2,500단어)이 작고 엔트로피(3.7)가 낮은 EC 어휘집이라도 효과적인 전이 학습이 가능하며, 엔트로피가 높은(7.98) 무작위 발화자 EC 변형보다 성능이 뛰어나다.
• 최적의 사전 훈련 초모수는 학습률 5×10⁻⁴, 배치 크기 32, 체크포인트 3,000 스텝이며, 미세조정은 학습률 10⁻⁴, 배치 크기 8일 때 가장 우수한 성능을 보인다.
• EC 어휘집에서의 사전 훈련은 적응 속도를 향상시키며, 이는 EC 언어가 시각-언어 모델에 효과적인 인덕티브 바이어스가 될 수 있음을 시사한다.
• 풍부한 후행 자연어 데이터가 존재할지라도 EC 사전 훈련은 초기 훈련 단계에서 측정 가능한 이점을 제공하며, 이는 저자원 또는 소수 샘플 설정에서의 가치를 보여준다.