[论文解读] Brainish: Formalizing A Multimodal Language for Intelligence and Consciousness

Paul Pu Liang|arXiv (Cornell University)|Apr 14, 2022

Topic Modeling被引用 4

一句话总结

本文提出了 Brainish，一种形式化的多模态语言，整合了文字、图像、音频和感官信息，用于建模人工系统中的智能与意识。基于意识图灵机（CTM），Brainish 采用单模态编码器、协调表示空间和解码器，实现多模态融合、翻译与生成——在真实世界的图像、文本和音频任务中，其性能优于单模态学习。

ABSTRACT

Having a rich multimodal inner language is an important component of human intelligence that enables several necessary core cognitive functions such as multimodal prediction, translation, and generation. Building upon the Conscious Turing Machine (CTM), a machine model for consciousness proposed by Blum and Blum (2021), we describe the desiderata of a multimodal language called Brainish, comprising words, images, audio, and sensations combined in representations that the CTM's processors use to communicate with each other. We define the syntax and semantics of Brainish before operationalizing this language through the lens of multimodal artificial intelligence, a vibrant research area studying the computational tools necessary for processing and relating information from heterogeneous signals. Our general framework for learning Brainish involves designing (1) unimodal encoders to segment and represent unimodal data, (2) a coordinated representation space that relates and composes unimodal features to derive holistic meaning across multimodal inputs, and (3) decoders to map multimodal representations into predictions (for fusion) or raw data (for translation or generation). Through discussing how Brainish is crucial for communication and coordination in order to achieve consciousness in the CTM, and by implementing a simple version of Brainish and evaluating its capability of demonstrating intelligence on multimodal prediction and retrieval tasks on several real-world image, text, and audio datasets, we argue that such an inner language will be important for advances in machine models of intelligence and consciousness.

研究动机与目标

• 形式化一种支持人工智能中预测、翻译和生成等核心认知功能的多模态内在语言——Brainish。
• 定义 Brainish 的语法与语义，作为统一框架，用于表示异构感官输入（文字、图像、音频、感官体验）。
• 通过包含单模态编码器、共享表示空间和解码器的机器学习流程，实现 Brainish 的可操作化，以支持多模态任务。
• 展示 Brainish 在意识图灵机（CTM）中促进内部通信与协调的作用，CTM 是一种机器意识的模型。
• 在真实世界的多模态数据集上评估 Brainish，证明其在融合与联合学习任务中优于单模态学习。

提出的方法

• 设计单模态编码器，利用最先进的神经架构对单个模态（文字、图像、音频）进行分割与表征。
• 构建协调表示空间，对齐并组合不同模态的特征，以推导出整体性的多模态语义。
• 实现解码器，将多模态表征映射到预测结果（用于融合）或原始数据（用于翻译与生成）。
• 将该框架应用于 CTM，以建模内部通信与协调如何可能支持人工系统中的意识。
• 在真实世界数据集上训练并评估简化的 Brainish 模型，用于图像-文本检索、多模态预测和联合学习任务。
• 使用对比学习与注意力机制对齐跨模态表征，提升零样本迁移性能。

实验结果

研究问题

• RQ1 如何设计一种形式化的多模态语言（如 Brainish），以支持多模态预测、翻译与生成等核心认知功能？
• RQ2 哪些句法与语义原则是必要的，才能将异构模态（文字、图像、音频、感官体验）统一为连贯的内在表征？
• RQ3 协调表示空间如何在人工智能中实现有效融合、对齐与联合学习，从而提升单模态输入的性能？
• RQ4 Brainish 以何种方式增强计算意识模型（如 CTM）内部的通信与协调？
• RQ5 在真实世界的多模态任务中，Brainish 的多模态学习在多大程度上优于单模态学习？

主要发现

• 所实现的 Brainish 模型在多模态融合与联合学习任务中表现优于单模态学习，后者甚至无法实现对齐。
• Brainish 实现了多模态融合、对齐与联合学习的同时进行，展示了其在整合性多模态推理方面的能力。
• 在图像-文本检索与多模态预测任务中，Brainish 的性能始终高于单模态基线，表明其具备有效的跨模态表征学习能力。
• 该模型展现出强大的零样本泛化能力，表明协调表征能够捕捉模态间共享的语义结构。
• 尽管由于缺乏高保真度生成器与评估指标，多模态生成仍存在局限，但该框架为该领域的未来发展奠定了基础。
• 该框架成功地在 CTM 中实现了 Brainish 的操作化，表明此类多模态语言对于建模意识人工系统内部通信至关重要。