[論文レビュー] Brainish: Formalizing A Multimodal Language for Intelligence and Consciousness

Paul Pu Liang|arXiv (Cornell University)|Apr 14, 2022

Topic Modeling被引用数 4

ひとこと要約

本論文では、言語、画像、音声、感覚を統合した形式的マルチモーダル言語Brainishを紹介する。Brainishは、意識的知能を人工系でモデル化することを目的とし、意識的チューリングマシン（CTM）に基づいて構築されている。Brainishは、単モーダルエンコーダー、協調的表現空間、デコーダーを用い、マルチモーダル統合、翻訳、生成を可能にする。実世界の画像、テキスト、音声タスクにおいて、単モーダル学習と比較して優れた性能を示している。

ABSTRACT

Having a rich multimodal inner language is an important component of human intelligence that enables several necessary core cognitive functions such as multimodal prediction, translation, and generation. Building upon the Conscious Turing Machine (CTM), a machine model for consciousness proposed by Blum and Blum (2021), we describe the desiderata of a multimodal language called Brainish, comprising words, images, audio, and sensations combined in representations that the CTM's processors use to communicate with each other. We define the syntax and semantics of Brainish before operationalizing this language through the lens of multimodal artificial intelligence, a vibrant research area studying the computational tools necessary for processing and relating information from heterogeneous signals. Our general framework for learning Brainish involves designing (1) unimodal encoders to segment and represent unimodal data, (2) a coordinated representation space that relates and composes unimodal features to derive holistic meaning across multimodal inputs, and (3) decoders to map multimodal representations into predictions (for fusion) or raw data (for translation or generation). Through discussing how Brainish is crucial for communication and coordination in order to achieve consciousness in the CTM, and by implementing a simple version of Brainish and evaluating its capability of demonstrating intelligence on multimodal prediction and retrieval tasks on several real-world image, text, and audio datasets, we argue that such an inner language will be important for advances in machine models of intelligence and consciousness.

研究の動機と目的

• 人工知能における予測、翻訳、生成といったコアな認知機能を支援する、マルチモーダル内部言語—Brainish—を形式化すること。
• 異種の感覚入力（テキスト、画像、音声、感覚）を統一的に表現するためのBrainishの文法的・意味的枠組みを定義すること。
• 単モーダルエンコーダー、共有表現空間、デコーダーを含む機械学習パイプラインを通じて、Brainishを実装すること。
• Brainishが意識的チューリングマシン（CTM）内での通信と協調をどのように可能にするかを示すこと。CTMは人工意識のモデルである。
• 実世界のマルチモーダルデータセットを用いてBrainishの性能を評価し、統合学習および共通学習タスクにおいて単モーダル学習を上回ることを示すこと。

提案手法

• 最先端のニューラルアーキテクチャを用いて、テキスト、画像、音声といった個別のモーダルティーをセグメント化・表現する単モーダルエンコーダーを設計する。
• 異種モーダルティーの特徴を統合し、統合的で包括的なマルチモーダル意味を導出するための、協調的表現空間を構築する。
• マルチモーダル表現を予測（統合用）または元のデータ（翻訳・生成用）にマッピングするデコーダーを実装する。
• CTMにフレームワークを適用し、内部的通信と協調が人工系における意識の実現にどのように寄与するかをモデル化する。
• 画像・テキスト検索、マルチモーダル予測、共通学習タスクの実世界データセットを用いて、簡略化されたBrainishモデルを学習・評価する。
• 対照的学習とアテンション機構を用いて、クロスモーダル表現を整列させ、ゼロショット転送性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 形式的マルチモーダル言語Brainishは、どのようにして予測、翻訳、生成といったコアな認知機能を支援できるように設計できるか？
• RQ2 言語、画像、音声、感覚といった異種モーダルティーを、一貫性のある内部表現に統合するために必要な文法的・意味的原則は何か？
• RQ3 協調的表現空間は、人工知能における単モーダル入力間の有効な統合、整列、共通学習をどのように可能にするか？
• RQ4 Brainishは、意識の計算モデル（例：CTM）内での通信と協調を、どのような形で強化するか？
• RQ5 実世界のマルチモーダルタスクにおいて、Brainishを用いたマルチモーダル学習は、単モーダル学習をどの程度上回るか？

主な発見

• 実装されたBrainishモデルは、単モーダル学習がまったく整列を実現できないのと比較して、マルチモーダル統合および共通学習タスクで優れた性能を示した。
• Brainishは、マルチモーダル統合、整列、共通学習の同時学習を可能にし、統合的マルチモーダル推論の能力を示した。
• 画像・テキスト検索およびマルチモーダル予測タスクにおいて、Brainishは単モーダルベースラインと比較して一貫して高い性能を示し、効果的なクロスモーダル表現学習が実現されたことを示した。
• モデルは強力なゼロショット一般化能力を示し、協調的表現がモーダルティー間で共有される意味的構造を的確に捉えている可能性を示唆した。
• 高精細な生成器や評価指標の不足により、マルチモーダル生成は依然として制限されているが、本フレームワークは、今後のこの分野の発展の基盤を提供している。
• 本フレームワークは、CTM内でのBrainishの実装に成功しており、意識的人工系における内部的通信をモデル化するにあたり、こうしたマルチモーダル言語が不可欠であることを示唆している。