[论文解读] Domain Extrapolation via Regret Minimization.
本文提出后悔最小化（RGM），一种领域泛化方法，通过将表示学习建模为对具有事后访问权限的预言机的后悔最小化，从而提升分布外泛化性能。RGM 在强预测器下避免了崩溃，并在分子性质预测和蛋白质同源性检测任务上优于最先进方法。
Many real prediction tasks such as molecular property prediction require ability to extrapolate to unseen domains. The success in these tasks typically hinges on finding a good representation. In this paper, we extend invariant risk minimization (IRM) by recasting the simultaneous optimality condition in terms of regret, finding instead a representation that enables the predictor to be optimal against an oracle with hindsight access on held-out environments. The change refocuses the principle on generalization and doesn't collapse even with strong predictors that can perfectly fit all the training data. Our regret minimization (RGM) approach can be further combined with adaptive domain perturbations to handle combinatorially defined environments. We evaluate our method on two real-world applications: molecule property prediction and protein homology detection and show that RGM significantly outperforms previous state-of-the-art domain generalization techniques.
研究动机与目标
- 解决现实世界预测任务中领域泛化的问题，其中模型必须推广到未见领域。
- 克服现有方法（如不变风险最小化，IRM）在强预测器下可能崩溃的局限性，这些预测器能完美拟合训练数据。
- 开发一种表示学习框架，通过聚焦于后悔最小化而非不变性，优先实现泛化。
- 通过自适应领域扰动，有效处理组合定义的领域。
提出的方法
- 将 IRM 中的联合最优性条件重新表述为后悔最小化，其中预测器在具有全部领域信息的预言机指导下进行优化。
- 将后悔定义为预测器性能与在事后访问所有领域情况下的最优性能之间的差异。
- 学习一种最小化该后悔的表示，从而在未见领域中增强鲁棒性和泛化能力。
- 通过自适应领域扰动整合组合定义的领域，提升方法在复杂现实场景中的适用性。
- 使用基于后悔的损失函数，联合训练表示和预测器，确保在使用强预测器时模型仍保持稳定。
实验结果
研究问题
- RQ1后悔最小化是否能超越不变风险最小化（IRM）的局限性，特别是在强预测器存在的情况下提升领域泛化性能？
- RQ2后悔最小化在具有复杂组合定义领域的现实任务（如分子性质预测）中表现如何？
- RQ3将后悔最小化与自适应领域扰动结合，是否能增强在具有结构化或组合性领域偏移设置下的泛化能力？
- RQ4后悔最小化是否能在分子和生物预测任务的分布外泛化基准上达到最先进性能？
主要发现
- RGM 在分子性质预测基准上显著优于以往最先进领域泛化技术。
- 即使在使用能完美拟合所有训练数据的强预测器时，RGM 仍保持性能稳定并避免崩溃。
- 自适应领域扰动的集成有效建模了组合定义的领域，提升了复杂场景下的泛化能力。
- RGM 在蛋白质同源性检测任务上表现优异，证明其在生物序列建模任务中的有效性。
- 基于后悔的建模范式将关注点从不变性转向泛化，从而在多样且未见的领域中生成更具鲁棒性的表示。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。