[论文解读] Effective Abstract Reasoning with Dual-Contrast Network

Tao Zhuo, Mohan Kankanhalli|arXiv (Cornell University)|May 27, 2022

Machine Learning in Bioinformatics参考文献 31被引用 9

一句话总结

本文提出双对比网络（DCNet），一种新颖的神经网络，仅使用真实答案解决瑞文非文字推理矩阵（RPM）问题，无需辅助标注或对隐藏规则的强假设。通过利用行/列之间的规则对比以及选项之间的选择对比，DCNet在RAVEN和PGM数据集上的平均性能超越了先前方法5.77%，达到当前最优水平。

ABSTRACT

As a step towards improving the abstract reasoning capability of machines, we aim to solve Raven's Progressive Matrices (RPM) with neural networks, since solving RPM puzzles is highly correlated with human intelligence. Unlike previous methods that use auxiliary annotations or assume hidden rules to produce appropriate feature representation, we only use the ground truth answer of each question for model learning, aiming for an intelligent agent to have a strong learning capability with a small amount of supervision. Based on the RPM problem formulation, the correct answer filled into the missing entry of the third row/column has to best satisfy the same rules shared between the first two rows/columns. Thus we design a simple yet effective Dual-Contrast Network (DCNet) to exploit the inherent structure of RPM puzzles. Specifically, a rule contrast module is designed to compare the latent rules between the filled row/column and the first two rows/columns; a choice contrast module is designed to increase the relative differences between candidate choices. Experimental results on the RAVEN and PGM datasets show that DCNet outperforms the state-of-the-art methods by a large margin of 5.77%. Further experiments on few training samples and model generalization also show the effectiveness of DCNet. Code is available at https://github.com/visiontao/dcnet.

研究动机与目标

• 通过仅使用最小监督解决瑞文非文字推理矩阵（RPM）中的机器抽象推理挑战。
• 克服先前方法依赖辅助标注或对隐藏逻辑规则的强假设所带来的局限性。
• 开发一种在未见RPM配置和少样本设置下具有良好泛化能力的模型。
• 实现仅以正确答案作为监督信号的端到端学习，模仿人类在有限监督下的推理方式。

提出的方法

• 设计规则对比模块，用于比较填充行/列与前两行/列之间的潜在规则，确保与底层逻辑结构的一致性。
• 实现选择对比模块，以增强候选答案之间的相对差异，提升在存在相似干扰项时的判别能力。
• 仅以真实答案作为监督信号进行端到端训练，避免对规则级别标注的需求。
• 利用对比学习原理，对正确规则模式的表示进行对齐，并在特征空间中分离错误选项。
• 通过双对比学习建模RPM谜题固有的结构对称性——即正确答案必须满足与前两行/列相同的规则。
• 通过主干CNN进行特征提取，并应用针对规则与选择对比量身定制的对比损失函数。

实验结果

研究问题

• RQ1 深度学习模型是否能在不依赖辅助规则标注或对规则数量做强假设的前提下，实现RPM中的强大抽象推理？
• RQ2 双对比学习策略（即行间规则对比与选项间选择对比）在提升泛化能力和准确率方面的有效性如何？
• RQ3 在仅以答案作为监督信号的情况下，模型在未见图形配置和少样本设置下的泛化能力达到何种程度？
• RQ4 在存在高度相似干扰项的情况下，规则对比模块与选择对比模块各自对性能的贡献如何？

主要发现

• DCNet在RAVEN和PGM基准数据集上相较之前最先进方法实现了5.77%的绝对性能提升。
• 在RAVEN数据集上，DCNet达到98.75%的准确率，显著优于CoPINet及其他SOTA方法在相同监督设置下的表现。
• 消融实验表明，若移除选择对比模块，RAVEN数据集上的准确率将下降57.07%，凸显其在处理相似干扰项中的关键作用。
• 规则对比模块贡献显著，当其被移除时PGM数据集上的准确率下降5.12%，表明其在捕捉底层逻辑模式中的重要性。
• 在RAVEN中未见的图形配置下，DCNet的泛化能力优于CoPINet，在7种配置中有5种表现更优。
• 在PGM数据集上，DCNet在中性设置下达到68.6%，插值设置下为59.7%，外推设置下为17.8%，尽管外部分布泛化极具挑战，仍表现出具有竞争力的性能。