[논문 리뷰] WenLan 2.0: Make AI Imagine via a Multimodal Foundation Model.

Nanyi Fei, Zhiwu Lu외 10명|arXiv (Cornell University)|2021. 10. 27.

Multimodal Machine Learning Applications참고 문헌 55인용 수 5

한 줄 요약

WenLan 2.0은 웹에서 크롤링한 약한 상관관계가 있는 시각적 및 텍스처 데이터를 자기지도 학습을 통해 사전 훈련한 다중모달 기초 모델을 소개하며, 다양한 인지 작업 간 강력한 제로샷 일반화를 가능하게 한다. 이는 고도로 발전된 상상력과 일반 지식 추론 능력을 보이며 인공통합지능에로의 중요한 도약을 나타낸다.

ABSTRACT

The fundamental goal of artificial intelligence (AI) is to mimic the core cognitive activities of human including perception, memory, and reasoning. Although tremendous success has been achieved in various AI research fields (e.g., computer vision and natural language processing), the majority of existing works only focus on acquiring single cognitive ability (e.g., image classification, reading comprehension, or visual commonsense reasoning). To overcome this limitation and take a solid step to artificial general intelligence (AGI), we develop a novel foundation model pre-trained with huge multimodal (visual and textual) data, which is able to be quickly adapted for a broad class of downstream cognitive tasks. Such a model is fundamentally different from the multimodal foundation models recently proposed in the literature that typically make strong semantic correlation assumption and expect exact alignment between image and text modalities in their pre-training data, which is often hard to satisfy in practice thus limiting their generalization abilities. To resolve this issue, we propose to pre-train our foundation model by self-supervised learning with weak semantic correlation data crawled from the Internet and show that state-of-the-art results can be obtained on a wide range of downstream tasks (both single-modal and cross-modal). Particularly, with novel model-interpretability tools developed in this work, we demonstrate that strong imagination ability (even with hints of commonsense) is now possessed by our foundation model. We believe our work makes a transformative stride towards AGI and will have broad impact on various AI+ fields (e.g., neuroscience and healthcare).

연구 동기 및 목표

• 기존 다중모달 기초 모델이 사전 훈련 데이터에서 강한 의미적 정렬을 요구하는 데서 비롯하는 한계를 극복하기 위해.
• 다양한 단일모달 및 교차모달 인지 작업으로의 일반화 능력을 갖춘 기초 모델을 개발하기 위해.
• 사전 훈련 중 정확한 이미지-텍스트 정렬이 필요 없이도 강력한 상상력과 일반 지식 추론 능력을 갖춘 AI 모델을 가능하게 하기 위해.
• 약한 상관관계가 있는 인터넷 데이터를 대상으로 한 자기지도 학습이 일반화 가능한 다중모달 표현을 구축하는 데 효과적인지 입증하기 위해.
• 모델의 추론 및 상상 능력을 분석하고 검증할 수 있는 새로운 모델 해석 도구를 제공하기 위해.

제안 방법

• 인터넷에서 크롤링한 대규모 약한 상관관계가 있는 다중모달 데이터를 대상으로 자기지도 학습을 통해 기초 모델을 사전 훈련하기 위해.
• 정확한 정렬이 아닌 이미지와 텍스트 간의 약한 의미적 상관관계를 활용함으로써, 모델의 강건성과 일반화 능력을 향상시키기 위해.
• 다양한 최종 작업을 지원할 수 있도록 시각적 및 텍스처 입력을 동시에 인코딩하는 다중모달 아키텍처를 설계하기 위해.
• 특히 상상력과 일반 지식 추론에 대해 내부 표현과 추론 과정을 분석할 수 있는 새로운 모델 해석 도구를 도입하기 위해.
• 이미지 분류, 시각적 질의 응답, 텍스트 생성 등 다양한 최종 작업에 대해 사전 훈련된 모델을 미세조정하기 위해.
• 사전 훈련 중 쌍화된 애너테이션을 필요로 하지 않는 대비 및 마스킹 모델링 목표를 활용하여 공동 표현을 학습하기 위해.

실험 결과

연구 질문

• RQ1 약한 상관관계가 있는 웹 데이터를 사전 훈련한 기초 모델이 다양한 인지 작업에서 뛰어난 성능을 내는가?
• RQ2 이러한 모델이 명시적 지도 학습 없이도 상상력과 일반 지식 추론 능력을 얼마나 잘 발휘하는가?
• RQ3 약한 정렬 데이터를 대상으로 한 자기지도 학습이, 지도 학습 또는 강한 정렬 사전 훈련에 비해 일반화 능력 측면에서 어떻게 비교되는가?
• RQ4 새로운 해석 도구가 모델의 내부 추론 및 상상 능력을 효과적으로 드러내고 검증할 수 있는가?
• RQ5 약한 상관관계가 있는 데이터를 사전 훈련한 모델이 최종 작업의 제로샷 및 피셔샷 전이 성능에 어떤 영향을 미치는가?

주요 결과

• WenLan 2.0 모델은 단일모달 및 교차모달 벤치마크를 포함한 다양한 최종 인지 작업에서 최신 기준 성능을 달성한다.
• 모델는 강력한 제로샷 일반화 능력을 보이며, 미세조정 없이도 새로운 작업에 효과적으로 일반화된다.
• 새로운 해석 도구를 통해 모델는 최소한의 단서가 주어진 상황에서도 상상력과 일반 지식 추론의 증거를 보여준다.
• 약한 상관관계가 있는 데이터를 대상으로 한 자기지도 사전 훈련은 강건하고 일반화 가능한 다중모달 표현을 생성하며, 사전 훈련 데이터에서 강한 정렬이 요구되는 모델보다 뛰어난 성능을 보인다.
• 정확한 이미지-텍스트 정렬이 없는 상황에서도 기존 모델과 비교해 경쟁력 있거나 그 이상의 성능을 보이며, 표준 벤치마크에서 뛰어난 성능을 발휘한다.
• 해석 도구를 통해 모델가 유의미하고 맥락에 부합하는 시각적 및 텍스처 추론을 생성할 수 있음을 확인했으며, 이는 잠재적인 인지 유사 행동이 나타남을 시사한다.