[论文解读] Reconstruction Bottlenecks in Object-Centric Generative Models

Martin Engelcke, Ōiwi Parker Jones+1 more|arXiv (Cornell University)|Jul 13, 2020

Cellular Automata and Applications参考文献 32被引用 6

一句话总结

本文研究了对象中心变分自编码器（VAE）中的重建瓶颈，表明组件解码器的架构——尤其是空间广播解码器——是影响场景分解的关键瓶颈，决定着分解能否实现。研究揭示了分割任务中潜在维度的狭窄最优范围：维度过小或过大均会导致崩溃或重建质量下降，而瓶颈的位置（潜在维度大小 vs. 架构）决定了模型的行为。

ABSTRACT

A range of methods with suitable inductive biases exist to learn interpretable object-centric representations of images without supervision. However, these are largely restricted to visually simple images; robust object discovery in real-world sensory datasets remains elusive. To increase the understanding of such inductive biases, we empirically investigate the role of "reconstruction bottlenecks" for scene decomposition in GENESIS, a recent VAE-based model. We show such bottlenecks determine reconstruction and segmentation quality and critically influence model behaviour.

研究动机与目标

• 理解重建瓶颈如何影响无监督基于VAE的模型中的对象中心场景分解。
• 探究架构选择（尤其是空间广播解码器）在诱导或阻止分解中的作用。
• 考察在不同潜在维度下，重建质量与分割性能之间的相互作用。
• 通过识别关键设计权衡，为设计高效的对象中心生成模型提供实证指导。

提出的方法

• 通过在组件外观解码器之前改变潜在维度，对GENESIS模型（一种基于VAE的对象中心生成模型）进行实证评估。
• 将原始的非对称架构（使用空间广播解码器）与修改后的对称架构（编码器与解码器匹配）进行比较。
• 为不同潜在维度训练组件VAE，作为普通的深度卷积VAE，并将重建误差与GECO目标值0.5655进行比较。
• 在Multi-dSprites、ShapeStacks和ObjectsRoom数据集上，评估不同潜在维度和架构下的分割性能。
• 以重建误差和分割质量为主要指标，分析瓶颈空间中模型行为的变化。
• 将分解发生的潜在维度范围与重建误差偏离GECO目标值的程度进行相关性分析。

实验结果

研究问题

• RQ1 在原始非对称GENESIS架构中，组件解码器前的潜在维度如何影响分割与重建质量？
• RQ2 当组件VAE架构被改为对称结构（移除空间广播解码器瓶颈）时，模型行为会发生什么变化？
• RQ3 是否存在一个潜在维度的关键范围，使得分割与重建质量均表现良好？其边界由什么决定？
• RQ4 当模型架构被修改时，有效瓶颈是从潜在维度转移到架构归纳偏置的机制是怎样的？
• RQ5 重建误差在多大程度上与模型将场景分解为有意义组件的能力相关？

主要发现

• 原始非对称GENESIS架构中，使用空间广播解码器的模型在广泛的潜在维度范围内保持了稳定的分割性能，仅在维度极小时出现退化。
• 在对称架构中，良好分割仅出现在小潜在维度的狭窄窗口（1–8）内，且在维度增大时性能急剧下降。
• 当对称模型的潜在维度过大时，尽管重建质量良好，网络仍会坍塌为单组件解法。
• 分割能力被学习的潜在维度范围与重建误差高于GECO目标值（0.5655）密切相关，尤其在1–8范围内。
• 对于对称架构，当潜在维度≥16时，重建误差低于GECO目标值（0.5655），但分割失败，表明重建与分解之间存在权衡。
• 原始架构中的空间广播解码器起到了有效的瓶颈作用，即使在潜在维度较大时也能防止重建坍塌；而在对称版本中，潜在维度本身则成为关键瓶颈。