[论文解读] Deep Learning Methods for Abstract Visual Reasoning: A Survey on Raven's Progressive Matrices

Mikołaj Małkiński, Jacek Mańdziuk|arXiv (Cornell University)|Jan 28, 2022

Data Visualization and Analytics被引用 12

一句话总结

本综述回顾了用于瑞文推理矩阵（RPMs）的深度学习方法，分析了基准数据集、学习技术与神经网络架构。研究指出，尽管当前模型在特定基准上表现超人类，但在泛化能力和 few-shot 学习方面仍远未达到人类水平的推理能力，存在显著挑战。

ABSTRACT

Abstract visual reasoning (AVR) domain encompasses problems solving which requires the ability to reason about relations among entities present in a given scene. While humans, generally, solve AVR tasks in a "natural" way, even without prior experience, this type of problems has proven difficult for current machine learning systems. The paper summarises recent progress in applying deep learning methods to solving AVR problems, as a proxy for studying machine intelligence. We focus on the most common type of AVR tasks -- the Raven's Progressive Matrices (RPMs) -- and provide a comprehensive review of the learning methods and deep neural models applied to solve RPMs, as well as, the RPM benchmark sets. Performance analysis of the state-of-the-art approaches to solving RPMs leads to formulation of certain insights and remarks on the current and future trends in this area. We conclude the paper by demonstrating how real-world problems can benefit from the discoveries of RPM studies.

研究动机与目标

• 提供对应用于抽象视觉推理（AVR）的深度学习方法的全面综述，重点关注瑞文推理矩阵（RPMs）作为主要基准。
• 分析最先进深度学习模型在解决 RPM 任务中的性能与局限性，特别是在 few-shot 和分布外泛化设置下的表现。
• 识别当前方法中的不足之处，尤其是样本效率与可迁移性方面，并为未来研究指向实现人类水平推理能力的方向。
• 展示 RPM 研究在现实世界问题中的更广泛应用前景，尤其在需要空间与关系推理的场景中。
• 建立统一的分类体系，对现有 RPM 基准数据集、学习策略与深度神经网络架构进行分类与比较。

提出的方法

• 系统性地对 RPM 基准数据集（包括 RAVEN、PGM、Sandia、D-set/G-set 以及合成 RPMs）进行分类，依据其复杂性与泛化范式。
• 综述多样化的学习方法，如监督训练、辅助训练（采用多热/稀疏编码）、对比学习、数据增强、解耦表示学习以及无监督/自监督方法。
• 分析从基础 CNN、LSTM 和带 MLP 头部的 ResNet 到先进架构（如 WReN、CoPINet、MRNet、LEN 及层次化网络，例如 SRAN、Rel-AIR、DCNet）的深度学习模型。
• 通过标准 RPM 基准上的性能指标评估模型，尤其关注低数据场景下的泛化能力与样本效率。
• 提出一个分类体系（图 2），按基准、学习策略与模型架构组织方法，以支持结构化比较。
• 通过消融研究与跨数据集（如 RAVEN 与 PGM）的性能对比，评估模型在不同训练数据规模下的鲁棒性与泛化能力。

实验结果

研究问题

• RQ1 近期深度学习研究中用于 RPM 的关键基准数据集有哪些？其设计选择如何影响模型评估？
• RQ2 不同学习范式（监督、对比、无监督及数据增强）如何影响抽象视觉推理中模型的性能与泛化能力？
• RQ3 最先进深度学习模型在分布外或少样本 RPM 问题上的泛化能力如何？与人类表现相比如何？
• RQ4 哪些神经网络架构在 RPM 中的关系与抽象推理方面最为有效？其架构创新如何提升性能？
• RQ5 在一种 RPM 任务（如矩阵补全）上训练的深度学习模型能否将知识迁移至其他 AVR 任务（如找异类）？有何证据支持？

主要发现

• 当前深度学习模型在 RAVEN 和 PGM 等特定 RPM 基准上可实现超人类性能，但仅在使用包含数百万样本的大规模数据集进行训练时成立。
• 在低数据场景下性能迅速下降——例如在 RAVEN 和 PGM 上，使用缩减数据（N/2^i）训练的模型准确率显著下降，凸显其样本效率低下。
• 在一种 RAVEN 配置上训练的模型可泛化至其他配置，表明具备一定程度的抽象与迁移学习能力，但该能力仍有限且非系统化。
• WReN、CoPINet 和 LEN 等架构在关系推理方面表现优异，尤其在处理视觉元素间的逻辑运算（如 XOR 与 OR）时表现突出。
• 尽管已有进展，但尚无模型能在所有泛化范式（如分布偏移、少样本、分布外）下实现人类水平的泛化能力，表明推理鲁棒性方面仍存在根本性差距。
• 对比学习、解耦表示与无监督预训练在提升泛化能力方面展现出潜力，但尚不足以弥合抽象推理中人类与 AI 之间的差距。