[论文解读] Hierarchical Rule Induction Network for Abstract Visual Reasoning.

Sheng Hu, Yuqing Ma+3 more|arXiv (Cornell University)|Feb 17, 2020

Data Visualization and Analytics参考文献 26被引用 14

一句话总结

该论文提出了一种名为分层规则归纳网络（HriNet）的新颖深度学习模型，通过门控融合机制学习多层次规则嵌入，模仿人类的抽象推理过程，在PGM和Balanced-RAVEN等抽象视觉推理基准测试中显著优于当前最先进模型，实现了更优的规则归纳与基于相似性的推理能力。

ABSTRACT

Abstract reasoning refers to the ability to analyze information, discover rules at an intangible level, and solve problems in innovative ways. Raven's Progressive Matrices (RPM) test is typically used to examine the capability of abstract reasoning. In the test, the subject is asked to identify the correct choice from the answer set to fill the missing panel at the bottom right of RPM (e.g., a 3$ imes$3 matrix), following the underlying rules inside the matrix. Recent studies, taking advantage of Convolutional Neural Networks (CNNs), have achieved encouraging progress to accomplish the RPM test problems. Unfortunately, simply relying on the relation extraction at the matrix level, they fail to recognize the complex attribute patterns inside or across rows/columns of RPM. To address this problem, in this paper we propose a Hierarchical Rule Induction Network (HriNet), by intimating human induction strategies. HriNet extracts multiple granularity rule embeddings at different levels and integrates them through a gated embedding fusion module. We further introduce a rule similarity metric based on the embeddings, so that HriNet can not only be trained using a tuplet loss but also infer the best answer according to the similarity score. To comprehensively evaluate HriNet, we first fix the defects contained in the very recent RAVEN dataset and generate a new one named Balanced-RAVEN. Then extensive experiments are conducted on the large-scale dataset PGM and our Balanced-RAVEN, the results of which show that HriNet outperforms the state-of-the-art models by a large margin.

研究动机与目标

• 为解决现有基于CNN的模型在捕捉Raven进展矩阵（RPM）问题中行与列之间复杂属性模式方面的局限性。
• 开发一种能够通过学习多粒度规则来模仿人类推理方式的模型。
• 提出一种基于学习嵌入的规则相似性度量，用于训练和推理。
• 修正RAVEN数据集中的缺陷，构建一个更均衡的基准数据集Balanced-RAVEN，以实现可靠的评估。
• 通过改进规则表征与融合方法，在大规模抽象推理数据集上实现当前最先进性能。

提出的方法

• HriNet采用分层架构，从局部、行/列和矩阵整体三个粒度层次提取规则嵌入。
• 门控嵌入融合模块整合多层次规则表征，生成统一的、上下文感知的表征。
• 训练过程中使用三元组损失，以优化嵌入空间，使正确答案在嵌入空间中更接近查询样本。
• 基于学习到的嵌入定义规则相似性度量，实现通过选择最相似候选答案进行推理。
• 模型在大规模PGM数据集和新构建的校正数据集Balanced-RAVEN上进行训练与评估。
• 该架构旨在捕捉3×3 RPM矩阵中各面板之间的关系与结构模式，模拟人类的归纳策略。

实验结果

研究问题

• RQ1 深度学习模型能否在抽象视觉推理任务中有效学习并融合多层次抽象程度的规则表征？
• RQ2 多粒度规则嵌入的整合在RPM风格推理问题上如何提升模型性能？
• RQ3 基于学习嵌入的规则相似性度量在抽象推理的训练与推理过程中能带来多大程度的增强？
• RQ4 像Balanced-RAVEN这样经过校正与平衡的数据集能否提供更可靠的抽象推理模型评估基准？
• RQ5 与现有模型相比，HriNet在PGM和Balanced-RAVEN上是否实现了当前最先进性能？

主要发现

• HriNet在大规模PGM数据集上实现了当前最先进性能，显著优于先前模型。
• 在新构建的Balanced-RAVEN数据集上，HriNet展现出优于现有方法的泛化能力与鲁棒性。
• 模型性能的提升归因于其有效学习与融合多层次规则表征的能力。
• 基于学习嵌入的规则相似性度量的引入，使得无需额外分类头即可实现准确推理。
• 训练过程中使用三元组损失使嵌入空间更具判别性，提升了零样本泛化能力。
• 经校正的Balanced-RAVEN数据集揭示了原始RAVEN数据集中此前隐藏的偏差，验证了构建平衡基准的必要性。