[论文解读] Stratified Rule-Aware Network for Abstract Visual Reasoning

Sheng Hu, Yuqing Ma+3 more|arXiv (Cornell University)|Feb 17, 2020

Data Visualization and Analytics被引用 12

一句话总结

本文提出了一种分层规则感知网络（Stratified Rule-Aware Network, SRAN），一种用于抽象视觉推理的新架构，该架构在单元级、个体级和生态级三个层次上学习分层规则嵌入，并通过门控模块融合这些嵌入，以保持顺序敏感性并支持增量规则归纳。SRAN在PGM和新提出的I-RAVEN数据集上均取得了当前最优性能，通过具有判别性的规则嵌入和使用三元组损失训练的规则相似性度量，显著超越了先前模型。

ABSTRACT

Abstract reasoning refers to the ability to analyze information, discover rules at an intangible level, and solve problems in innovative ways. Raven's Progressive Matrices (RPM) test is typically used to examine the capability of abstract reasoning. The subject is asked to identify the correct choice from the answer set to fill the missing panel at the bottom right of RPM (e.g., a 3$ imes$3 matrix), following the underlying rules inside the matrix. Recent studies, taking advantage of Convolutional Neural Networks (CNNs), have achieved encouraging progress to accomplish the RPM test. However, they partly ignore necessary inductive biases of RPM solver, such as order sensitivity within each row/column and incremental rule induction. To address this problem, in this paper we propose a Stratified Rule-Aware Network (SRAN) to generate the rule embeddings for two input sequences. Our SRAN learns multiple granularity rule embeddings at different levels, and incrementally integrates the stratified embedding flows through a gated fusion module. With the help of embeddings, a rule similarity metric is applied to guarantee that SRAN can not only be trained using a tuplet loss but also infer the best answer efficiently. We further point out the severe defects existing in the popular RAVEN dataset for RPM test, which prevent from the fair evaluation of the abstract reasoning ability. To fix the defects, we propose an answer set generation algorithm called Attribute Bisection Tree (ABT), forming an improved dataset named Impartial-RAVEN (I-RAVEN for short). Extensive experiments are conducted on both PGM and I-RAVEN datasets, showing that our SRAN outperforms the state-of-the-art models by a considerable margin.

研究动机与目标

• 解决现有深度学习模型在Raven进展矩阵（RPM）任务中的局限性，这些局限性忽略了顺序敏感性和增量规则归纳等关键归纳偏置。
• 开发一种能够学习结构化、多粒度规则嵌入的模型，以反映人类在抽象视觉推理中的类人推理过程。
• 识别并修正RAVEN数据集中严重缺陷，这些缺陷使得模型无需理解底层规则即可推断答案。
• 提出一个新的、更公平的基准数据集Impartial-RAVEN（I-RAVEN），采用属性二分树（Attribute Bisection Tree, ABT）算法生成无偏答案集。
• 证明规则嵌入不仅在训练中有效，还可通过可学习的规则相似性度量实现高效推理。

提出的方法

• SRAN将RPM矩阵的两行或两列作为输入，分别在三个分层级别上学习规则嵌入：单元级（单个元素）、个体级（属性级模式）和生态级（全局结构模式）。
• 该模型使用门控融合模块，逐步整合这些嵌入，以保持顺序敏感性并支持分层规则归纳。
• 基于学习到的嵌入引入了一种规则相似性度量，支持使用三元组损失进行训练，并通过相似性评分实现高效的top-1答案选择。
• 设计了属性二分树（ABT）算法，用于生成与上下文矩阵无关的答案集，从而消除RAVEN数据集中存在的捷径泛化问题。
• 模型通过三元组损失端到端训练，以最大化正确答案与预测规则嵌入之间的相似性，同时最小化与错误候选答案的相似性。
• 该框架在原始PGM和RAVEN数据集以及新构建的I-RAVEN数据集上进行评估，后者旨在对分布性捷径更具鲁棒性。

实验结果

研究问题

• RQ1 深度学习模型能否有效学习反映人类在RPM任务中抽象推理的增量性和顺序敏感性的分层规则嵌入？
• RQ2 顺序敏感性和增量规则归纳等归纳偏置在多大程度上能提升抽象视觉推理中的泛化能力和性能？
• RQ3 如何构建一个抽象视觉推理数据集，以防止模型利用答案集中虚假相关性？
• RQ4 能否使规则嵌入可度量且具有判别性，以支持高效训练和高效推理？
• RQ5 所提出的模型在不同规则类型和属性组合（如颜色、大小、类型）上是否能以稳健且平衡的方式泛化？

主要发现

• SRAN在新构建的I-RAVEN数据集上达到60.8%的测试准确率，即使在数据集公平性提升的情况下，仍表现出强大的泛化能力和鲁棒性。
• 消融实验确认，三个分层级别——单元级、个体级和生态级——均对性能有贡献，完整模型优于任何单一层次的变体。
• 若禁用单元级嵌入中的顺序敏感性（通过求和实现），性能显著下降（从60.8%降至23.5%），证明了顺序意识的重要性。
• 即使在训练中重新引入列规则，模型仍保持高性能（59.6%），表明其具备强大能力以区分行规则与列规则。
• 单层次消融显示，不同嵌入具有专业化特性：单元级嵌入在类型和大小任务上表现更优，而生态级与个体级嵌入在颜色任务上更有效。
• 规则相似性度量支持高效推理，且模型在多种规则配置和复杂模式下性能保持稳定。