[论文解读] Compositional Generalization from First Principles

Thaddäus Wiedemer, P. Mayilvahanan+2 more|arXiv (Cornell University)|Jul 10, 2023

Geochemistry and Geologic Mapping被引用 4

一句话总结

本文通过将数据生成建模为具有可识别组件的组合过程，提出了一种机器学习中组合泛化形式化框架。它推导出训练分布和支持与模型架构的充分条件，以保证对未见过的组合实现泛化，通过合成实验和理论分析加以验证，为可扩展、样本高效的机器学习提供了原则性基础。

ABSTRACT

Leveraging the compositional nature of our world to expedite learning and facilitate generalization is a hallmark of human perception. In machine learning, on the other hand, achieving compositional generalization has proven to be an elusive goal, even for models with explicit compositional priors. To get a better handle on compositional generalization, we here approach it from the bottom up: Inspired by identifiable representation learning, we investigate compositionality as a property of the data-generating process rather than the data itself. This reformulation enables us to derive mild conditions on only the support of the training distribution and the model architecture, which are sufficient for compositional generalization. We further demonstrate how our theoretical framework applies to real-world scenarios and validate our findings empirically. Our results set the stage for a principled theoretical study of compositional generalization.

研究动机与目标

• 解决机器学习模型尽管具有组合数据结构，却持续在组合泛化方面失败的问题。
• 将组合性不视为数据的属性，而是视为数据生成过程的属性。
• 推导出训练分布和支持与模型架构的最小充分条件，以实现组合泛化。
• 在合成环境中通过消融研究对理论框架进行实证验证。
• 为未来可识别表征学习的发展提供原则性基础，实现可证明的泛化。

提出的方法

• 作者定义了一类组合数据生成过程，其中数据通过已知组合函数组合已知组件形成。
• 他们将数据生成建模为潜在因子（例如位置、形状、颜色）的函数，并假设组合函数是已知且可识别的。
• 理论分析推导出训练分布支持和模型架构的充分条件，以确保对新组合的泛化。
• 该框架假设在训练分布上实现完美重建，与可识别表征学习原则一致。
• 在具有两个精灵的合成图像数据集上进行实证验证，精灵在位置、形状、大小和颜色上变化，以测试对未见组合的泛化能力。
• 消融研究检验了关键假设的必要性，例如完整支持覆盖和已知组合函数。

Figure 1: Left : We train a model $f$ to reconstruct images containing two sprites given their latent representation (x, y, shape, size, color) . Center : In the training set (top row and left column), one sprite is fixed in its base configuration (orange triangle or red circle), while the other can

实验结果

研究问题

• RQ1 在训练分布和支持与模型架构的何种条件下，模型能够对已知组件的未见组合实现组合泛化？
• RQ2 是否可以在不依赖归纳偏置或显式架构先验的情况下保证组合泛化？
• RQ3 已知组合函数的假设如何影响可证明泛化的可行性？
• RQ4 训练分布的支持在实现对新组合的泛化中起到何种作用？
• RQ5 依赖组合先验的实证方法在多大程度上因分布覆盖不足而无法泛化？

主要发现

• 理论分析表明，若训练分布覆盖了所有可能的组件因子组合，且模型架构足够表达，即可保证组合泛化。
• 实证结果证实，即使组件在孤立状态下被见过，模型仍可能无法泛化到新组合，凸显了分布支持的重要性。
• 消融研究显示，若缺乏完整支持覆盖，即使训练拟合完美，也会导致泛化系统性失败。
• 该框架揭示，已知组合函数是实现可证明泛化的关键促成条件，表明未知或非结构化的组合性会破坏泛化。
• 结果表明，当前实证方法可能并非因架构限制而无法泛化，而是由于训练数据中组合空间覆盖不足。

Figure 2: Compositional representation of a function (Definition 1 ). Component functions $\boldsymbol{\varphi}_{k}$ map each component latent $\boldsymbol{z}_{k}$ to an intermediate representation $\boldsymbol{\tilde{x}}_{k}$ . The composition function $\boldsymbol{C}$ composes them into a final da