[论文解读] FALCON: Fast Visual Concept Learning by Integrating Images, Linguistic descriptions, and Conceptual Relations

Lingjie Mei, Jiayuan Mao+3 more|arXiv (Cornell University)|Mar 30, 2022

Multimodal Machine Learning Applications被引用 6

一句话总结

FALCON 是一种神经符号元学习框架，通过整合图像、语言描述和概念关系，实现快速视觉概念学习。它将视觉概念表示为高维空间中的轴对齐框嵌入，联合优化观测到的视觉实例和关系约束，在少样本概念学习与推理任务中相比基线模型表现出更优的准确性。

ABSTRACT

We present a meta-learning framework for learning new visual concepts quickly, from just one or a few examples, guided by multiple naturally occurring data streams: simultaneously looking at images, reading sentences that describe the objects in the scene, and interpreting supplemental sentences that relate the novel concept with other concepts. The learned concepts support downstream applications, such as answering questions by reasoning about unseen images. Our model, namely FALCON, represents individual visual concepts, such as colors and shapes, as axis-aligned boxes in a high-dimensional space (the "box embedding space"). Given an input image and its paired sentence, our model first resolves the referential expression in the sentence and associates the novel concept with particular objects in the scene. Next, our model interprets supplemental sentences to relate the novel concept with other known concepts, such as "X has property Y" or "X is a kind of Y". Finally, it infers an optimal box embedding for the novel concept that jointly 1) maximizes the likelihood of the observed instances in the image, and 2) satisfies the relationships between the novel concepts and the known ones. We demonstrate the effectiveness of our model on both synthetic and real-world datasets.

研究动机与目标

• 开发一个统一框架，实现从图像和自然语言等多样化数据流中快速、少样本的视觉概念学习。
• 通过整合视觉定位、语言描述和概念关系，实现视觉概念的增量式、累积式学习。
• 支持下游推理任务（如视觉问答）中使用新获取的概念。
• 通过利用补充的关系句（例如，'X 是 Y 的一种'）缓解视觉示例中的歧义。
• 设计一种元学习协议，用于在合成数据集和真实世界数据集上评估快速概念学习。

提出的方法

• FALCON 将视觉概念（例如颜色、形状）表示为高维嵌入空间中的轴对齐框，其中物体嵌入为点。
• 通过利用先前学习到的概念解析句子中的指代表达来定位新概念（例如，'黄色立方体的左侧'）。
• 解释补充句子以将新概念与已知概念关联（例如，'红色是一种颜色'），并将这些关系编码为逻辑约束。
• 模型联合优化（1）观测到的视觉示例的似然性与（2）概念关系的满足度，使用元学习目标。
• 神经网络通过最小化结合数据似然性和关系一致性的可微损失，预测新概念的最佳框嵌入。
• 该框架通过增强视觉推理数据集和知识图谱以生成元学习测试用例的协议进行训练和评估。

实验结果

研究问题

• RQ1 模型能否仅通过一两张图像和配对的自然语言描述就学会新视觉概念？
• RQ2 补充的关系句（例如，'X 是 Y 的一种'）在多大程度上能有效减少视觉定位中的歧义？
• RQ3 所学的概念表征能否泛化到下游推理任务（如视觉问答）？
• RQ4 与单模态方法相比，整合视觉、语言和关系数据在少样本概念学习方面有何提升？
• RQ5 框嵌入表示在多大程度上支持增量式、累积式概念学习？

主要发现

• FALCON 在少样本视觉概念学习任务中优于现有基线模型，在合成数据集和真实世界数据集上均实现了更高的准确率。
• 该模型有效利用补充关系句来缓解视觉示例中的歧义，提升了定位准确率。
• 框嵌入表示支持精确且可解释的概念学习，'红色'和'圆柱体'等概念能泛化到不同形状和材质的物体上。
• 在视觉问答任务中，FALCON 能够成功将所学概念迁移至未见图像的查询回答，展现出稳健的推理能力。
• 系统性消融研究显示，视觉定位和关系监督对性能提升均至关重要，各组件对学习准确率均有显著贡献。
• 失败分析表明，物体定位中的检测错误可能传播至概念学习，但当存在关系约束时，模型仍保持鲁棒性。