[논문 리뷰] Brainish: Formalizing A Multimodal Language for Intelligence and Consciousness

Paul Pu Liang|arXiv (Cornell University)|2022. 04. 14.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 인공지능 시스템에서 지능과 의식을 모델링하기 위해 단어, 이미지, 음성, 감각을 통합하는 형식화된 다중모odal 언어인 Brainish를 소개한다. Conscious Turing Machine(CTM)을 기반으로 하며, 단모달 인코더, 조율된 표현 공간, 디코더를 통해 다중모달 융합, 번역, 생성을 가능하게 한다. 실세계의 이미지, 텍스트, 음성 작업에서 단모달 학습보다 뛰어난 성능을 보여준다.

ABSTRACT

Having a rich multimodal inner language is an important component of human intelligence that enables several necessary core cognitive functions such as multimodal prediction, translation, and generation. Building upon the Conscious Turing Machine (CTM), a machine model for consciousness proposed by Blum and Blum (2021), we describe the desiderata of a multimodal language called Brainish, comprising words, images, audio, and sensations combined in representations that the CTM's processors use to communicate with each other. We define the syntax and semantics of Brainish before operationalizing this language through the lens of multimodal artificial intelligence, a vibrant research area studying the computational tools necessary for processing and relating information from heterogeneous signals. Our general framework for learning Brainish involves designing (1) unimodal encoders to segment and represent unimodal data, (2) a coordinated representation space that relates and composes unimodal features to derive holistic meaning across multimodal inputs, and (3) decoders to map multimodal representations into predictions (for fusion) or raw data (for translation or generation). Through discussing how Brainish is crucial for communication and coordination in order to achieve consciousness in the CTM, and by implementing a simple version of Brainish and evaluating its capability of demonstrating intelligence on multimodal prediction and retrieval tasks on several real-world image, text, and audio datasets, we argue that such an inner language will be important for advances in machine models of intelligence and consciousness.

연구 동기 및 목표

• 인공지능에서 예측, 번역, 생성과 같은 핵심 인지 기능을 지원하는 다중모달 내부 언어인 Brainish를 형식화하는 것.
• 다양한 감각 입력(텍스트, 이미지, 음성, 감각)을 통합적으로 표현하기 위한 Brainish의 문법과 의미 체계를 정의하는 것.
• 단모달 인코더, 공유된 표현 공간, 디코더를 포함한 머신러닝 파이프라인을 통해 Brainish를 구현하는 것.
• Conscious Turing Machine(CTM) 내에서 내부 의사소통과 조율이 의식적 인공지능 시스템에 어떻게 기여할 수 있는지 보여주는 것.
• 실세계 다중모달 데이터셋에서 Brainish의 성능을 평가하여, 융합 및 공학습 작업에서 단모달 학습보다 뛰어난 성능을 보이는지 확인하는 것.

제안 방법

• 최신 신경망 아키텍처를 사용하여 텍스트, 이미지, 음성 등의 개별 모달리티를 분할하고 표현하는 단모달 인코더를 설계한다.
• 다양한 모달리티 간의 특징을 정렬하고 조합하여 통합적인 다중모달 의미를 도출하는 조율된 표현 공간을 구성한다.
• 다중모달 표현을 예측(융합용) 또는 원시 데이터(번역 및 생성용)로 매핑하는 디코더를 구현한다.
• CTM에 프레임워크를 적용하여 인공지능 시스템 내에서 의식을 지원할 수 있는 내부 의사소통과 조율 방식을 모델링한다.
• 실세계 데이터셋을 사용하여 이미지-텍스트 검색, 다중모달 예측, 공학습 작업에 대해 단순화된 Brainish 모델을 훈련하고 평가한다.
• 대비 학습과 어텐션 메커니즘을 사용하여 다중모달 표현을 정렬하고, 제로샷 전이 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 다중모달 예측, 번역, 생성과 같은 핵심 인지 기능을 지원하기 위해 형식화된 다중모달 언어인 Brainish를 어떻게 설계할 수 있는가?
• RQ2 단어, 이미지, 음성, 감각과 같은 이질적인 모달리티를 통합적으로 표현하기 위해 필요한 문법적 및 의미적 원칙은 무엇인가?
• RQ3 조율된 표현 공간은 인공지능에서 단모달 입력 간의 융합, 정렬, 공학습을 효과적으로 가능하게 하는가?
• RQ4 Brainish는 Conscious Turing Machine(CTM)과 같은 의식의 계산 모델 내에서 의사소통과 조율을 어떻게 향상시키는가?
• RQ5 실세계 다중모달 작업에서 Brainish를 사용한 다중모달 학습이 단모달 학습보다 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• 구현된 Brainish 모델은 단모달 학습이 전혀 정렬을 수행할 수 없었던 다중모달 융합 및 공학습 작업에서 뛰어난 성능을 기록했다.
• Brainish는 다중모달 융합, 정렬, 공학습을 동시에 학습할 수 있었으며, 통합적인 다중모달 추론 능력을 입증했다.
• 이미지-텍스트 검색 및 다중모달 예측 작업에서 Brainish는 단모달 기준선보다 일관되게 높은 성능을 보였으며, 효과적인 다중모달 표현 학습을 의미한다.
• 모델는 강력한 제로샷 일반화 능력을 보였으며, 이는 조율된 표현이 다양한 모달리티 간의 공통된 의미적 구조를 포착하고 있음을 시사한다.
• 다중모달 생성은 고해상도 생성기와 평가 지표의 부족으로 아직 제한되어 있으나, 향후 이 분야의 개발을 위한 기반을 제공한다.
• 프레임워크는 CTM 내에서 Brainish를 성공적으로 구현하여, 의식적인 인공지능 시스템 내부 의사소통을 모델링하기 위해 이러한 다중모달 언어가 필수적임을 시사한다.