[论文解读] Generating Correct Answers for Progressive Matrices Intelligence Tests

Niv Pekar, Yaniv Benny+1 more|arXiv (Cornell University)|Nov 1, 2020

Neural Networks and Applications参考文献 15被引用 4

一句话总结

本文提出了一种新颖的神经网络，用于在不依赖多项选择选项的情况下生成瑞文推理矩阵（RPM）测试中的正确答案——这一任务比基于选择的方法更具挑战性。通过结合多路径学习、动态变分损失以及具有分层编码的可选感知损失，该模型生成了语义准确的图像，与真实答案模式一致，并在识别性能上达到与最先进方法相当的水平，即使在像素级相似度较低的情况下亦如此。

ABSTRACT

Raven's Progressive Matrices are multiple-choice intelligence tests, where one tries to complete the missing location in a $3 imes 3$ grid of abstract images. Previous attempts to address this test have focused solely on selecting the right answer out of the multiple choices. In this work, we focus, instead, on generating a correct answer given the grid, without seeing the choices, which is a harder task, by definition. The proposed neural model combines multiple advances in generative models, including employing multiple pathways through the same network, using the reparameterization trick along two pathways to make their encoding compatible, a dynamic application of variational losses, and a complex perceptual loss that is coupled with a selective backpropagation procedure. Our algorithm is able not only to generate a set of plausible answers, but also to be competitive to the state of the art methods in multiple-choice tests.

研究动机与目标

• 解决在无法访问多项选择选项的情况下生成瑞文推理矩阵（RPM）测试正确答案的挑战，该任务需要比基于选择的方法具备更深层次的理解能力。
• 开发一种生成模型，通过学习3×3抽象图像网格中的潜在模式，合成合理的答案。
• 通过引入动态变分损失和选择性反向传播，提升视觉推理任务中的泛化能力和语义推理能力。
• 评估生成的答案是否能被最先进分类器识别为正确答案，以证明模型具备语义理解能力。
• 在程序生成矩阵（PGM）和RAVEN-FAIR数据集上验证该方法，展示其在不同规则分布下的鲁棒性。

提出的方法

• 模型采用三条并行路径：重建、识别和生成，通过共享编码器网络统一表示。
• 在重建和生成路径中应用动态变分损失，根据输入上下文自适应调整随机性，避免有害的均匀噪声。
• 选择性地在两条路径中应用重参数化技巧，以确保重建和生成任务之间潜在分布的兼容性。
• 采用分层感知损失，通过预训练网络的特征嵌入，将生成图像与真实答案及干扰项进行比较。
• 选择性反向传播确保仅更新生成路径，从而保持感知损失网络的完整性。
• 识别路径作为辅助分类器，其在第三行和第三列上不使用关系模块进行训练，以提升语义对齐性。

实验结果

研究问题

• RQ1 神经网络能否在无多项选择选项的情况下，从零开始生成正确的RPM答案，同时保持语义正确性？
• RQ2 变分自编码如何适应复杂视觉推理任务中图像生成的局部随机性？
• RQ3 具有分层编码的感知损失在多大程度上提升了生成RPM答案的质量和正确性？
• RQ4 当在相同分类器上进行评估时，生成模型能否实现与最先进基于选择的模型相当的识别准确率？
• RQ5 该模型是否能泛化到分布外的规则集以及无偏见的数据集（如RAVEN-FAIR）？

主要发现

• 在PGM数据集上，70.1%的生成答案被人工评估者判定为正确，而随机选择图像仅占6.4%，表明具有强大的语义对齐能力。
• 在人工评估中，63.3%的生成图像被判定为正确，与真实答案的72.2%相比差距较小，表明生成结果具有高度的感知和语义合理性。
• 辅助识别分类器在RAVEN-FAIR数据集上达到60.8%的准确率，仅次于MRNet（86.8%），在架构受限条件下表现优异。
• 在RAVEN-FAIR数据集上，生成准确率为60.7%，接近VAE重建真实答案图像的69.5%准确率，显著高于随机生成的8.9%基线。
• 在PGM的分布外“插值”场景中，模型达到61.7%的生成准确率，接近MRNet在识别任务中的68.1%。
• 该模型成功捕捉了RPM问题中的大多数底层规则，对特定规则类型的忽略极少，表明其具备稳健的模式学习能力。