[论文解读] Better Set Representations For Relational Reasoning

Qian Huang, Horace He+4 more|arXiv (Cornell University)|Mar 9, 2020

Multimodal Machine Learning Applications参考文献 34被引用 4

一句话总结

本文提出Set Refiner Network（SRN），一种新颖模块，通过在迭代中优化集合表示以实现集合排列不变性，从而提升神经网络中的关系推理能力。SRN通过反转标准的输入到集合的映射，转而寻找一个能够重建输入嵌入的集合，从而克服了现有方法中导致实体分解不良的‘责任问题’这一根本缺陷。该方法在最具有挑战性的Sort-of-CLEVR问题上实现了超过50%的相对误差降低，并显著提升了视觉、强化学习和自然语言处理任务中的鲁棒性与准确性。

ABSTRACT

Incorporating relational reasoning into neural networks has greatly expanded their capabilities and scope. One defining trait of relational reasoning is that it operates on a set of entities, as opposed to standard vector representations. Existing end-to-end approaches typically extract entities from inputs by directly interpreting the latent feature representations as a set. We show that these approaches do not respect set permutational invariance and thus have fundamental representational limitations. To resolve this limitation, we propose a simple and general network module called a Set Refiner Network (SRN). We first use synthetic image experiments to demonstrate how our approach effectively decomposes objects without explicit supervision. Then, we insert our module into existing relational reasoning models and show that respecting set invariance leads to substantial gains in prediction performance and robustness on several relational reasoning tasks.

研究动机与目标

• 解决现有端到端关系推理模型中因‘责任问题’而无法尊重集合排列不变性的根本局限。
• 开发一种通用模块，实现对输入数据的忠实、非连续的离散实体分解，无需显式监督。
• 通过确保正确的实体级别集合表示，提升下游关系推理模型的性能与鲁棒性。
• 证明解耦且正确分解的集合可提升关系推理任务中的泛化能力与对输入扰动的鲁棒性。

提出的方法

• SRN反转了标准的输入到集合的映射：不直接从输入回归到集合，而是通过梯度下降优化候选集合，使其能够重建输入嵌入。
• 该方法使用集合编码器计算输入嵌入与编码集合表示之间的重建损失。
• 通过在集合元素上进行梯度下降的迭代优化，使模型能够学习实现正确实体分解所必需的非连续映射。
• 初始集合被初始化为输入的可学习嵌入，通过零填充向量实现固定大小的集合表示。
• SRN具有可微性，可无缝集成到现有的关系推理架构（如Relational Networks和C-SWM）中。
• 该方法具有通用性，适用于多种模态，包括图像、视频和文本，已在视觉、强化学习和自然语言处理基准上得到验证。

实验结果

研究问题

• RQ1 一个可微的神经模块能否在无需显式监督的情况下，有效学习将输入数据分解为离散的、排列不变的集合？
• RQ2 通过迭代优化实现集合不变性是否能提升关系推理任务中的性能与鲁棒性？
• RQ3 标准集合构建方法中的‘责任问题’如何影响模型的泛化能力与对输入扰动的敏感性？
• RQ4 所提出的SRN能否在视觉、强化学习和自然语言处理等多样化领域中提升性能？

主要发现

• 在Sort-of-CLEVR基准上，将SRN插入到Relational Network中，使最具有挑战性的问题类别相对误差降低超过50%。
• SRN显著提升了鲁棒性：当输入发生微小扰动时，基线Relational Network产生错误答案，而SRN增强的模型仍保持高准确率。
• 在Atari Pong和Space Invaders环境中，SRN提升了命中率（H@1）和平均倒数排名（MRR），且在更长的动作序列中增益更大（例如，在10步时，Space Invaders的H@1提升9.5%（K=3））。
• 在基于文本的CLUTRR任务中，SRN将平均性能从基线的49.7%提升至55.0%，而基于图的变体（GRN）达到56.1%。
• SRN在包含重复或相同物体的数据集（如Space Invaders）中尤为有效，实现了最大提升，表明其在分离相似实体方面具有优势。
• 该方法在所有评估任务中均表现出一致的性能提升，证实了正确集合表示对可靠关系推理至关重要。