[论文解读] Rich Feature Construction for the Optimization-Generalization Dilemma

Jianyu Zhang, David López-Paz+1 more|arXiv (Cornell University)|Mar 24, 2022

Machine Learning and Data Classification被引用 5

一句话总结

本文提出 Bonsai 算法——一种丰富的特征构建（RFC）方法，通过使用包含多种潜在有用特征的多样化预训练表征来初始化深度网络。通过将特征发现与优化过程解耦，该方法使分布外（OoD）泛化任务的训练更加简单且稳定，在 ColoredMNIST 和 Camelyon17 上对六种 OoD 方法均持续提升性能，同时降低超参数敏感度与方差。

ABSTRACT

There often is a dilemma between ease of optimization and robust out-of-distribution (OoD) generalization. For instance, many OoD methods rely on penalty terms whose optimization is challenging. They are either too strong to optimize reliably or too weak to achieve their goals. We propose to initialize the networks with a rich representation containing a palette of potentially useful features, ready to be used by even simple models. On the one hand, a rich representation provides a good initialization for the optimizer. On the other hand, it also provides an inductive bias that helps OoD generalization. Such a representation is constructed with the Rich Feature Construction (RFC) algorithm, also called the Bonsai algorithm, which consists of a succession of training episodes. During discovery episodes, we craft a multi-objective optimization criterion and its associated datasets in a manner that prevents the network from using the features constructed in the previous iterations. During synthesis episodes, we use knowledge distillation to force the network to simultaneously represent all the previously discovered features. Initializing the networks with Bonsai representations consistently helps six OoD methods achieve top performance on ColoredMNIST benchmark. The same technique substantially outperforms comparable results on the Wilds Camelyon17 task, eliminates the high result variance that plagues other methods, and makes hyperparameter tuning and model selection more reliable.

研究动机与目标

• 为解决分布外（OoD）学习中的优化-泛化困境，即基于惩罚的方法在优化可靠性方面要么过强要么过弱。
• 通过提供一种丰富且多样的表征，降低训练 OoD 模型的难度，简化下游优化过程中的特征选择。
• 通过降低性能方差，提升 OoD 设置下超参数调优与模型选择的可靠性。
• 通过预构建特征带来的强归纳偏置，使 OoD 与标准 ERM 方法均能实现最先进性能。

提出的方法

• Bonsai 算法通过交替进行发现与合成阶段来构建多样化特征集。
• 在发现阶段，设计多目标准则以防止网络重复使用前一轮的特征，强制探索新表征。
• 在合成阶段，应用知识蒸馏训练单个网络，使其同时表征所有先前发现的特征。
• 最终表征被冻结并用于初始化下游模型，提供强归纳偏置，无需进一步微调。
• 该方法应用于合成数据（ColoredMNIST）与真实世界数据（Camelyon17）基准，以评估 OoD 泛化性能。
• 性能通过 OoD 与 IID 验证进行评估，超参数通过 IID 或 OoD 协议进行调优。

实验结果

研究问题

• RQ1 预训练的多样化表征是否能提升 OoD 方法的优化与泛化性能？
• RQ2 Bonsai 算法是否降低 OoD 模型对超参数选择的敏感度？
• RQ3 冻结的丰富表征是否能提升标准 ERM 方法在 OoD 基准上的性能？
• RQ4 与单独使用各次发现阶段相比，融合多个发现特征的合成阶段是否显著提升性能？
• RQ5 Bonsai 初始化如何影响 OoD 设置下模型选择与超参数调优的可靠性？

主要发现

• Bonsai 初始化在 ColoredMNIST 基准上持续提升了六种最先进 OoD 方法的 OoD 泛化性能。
• 在 Camelyon17 数据集上，Bonsai 初始化使 ERM 达到或超过最佳已发表结果，性能相较先前可比 ERM 结果提升约 5%。
• 在 Camelyon17 上，使用 Bonsai 初始化后，IRMv1、vREx 和 CLOvE 的 OoD 测试准确率显著更稳定，对惩罚权重超参数的敏感度降低。
• Bonsai 初始化显著降低了 IID 与 OoD 验证性能的方差，使这些指标成为实际 OoD 测试性能的更可靠指标。
• 合成阶段至关重要：仅使用单次发现阶段训练的模型（如第 1、2 或 3 轮）的 OoD 准确率分别为 66.6±9.8、73.2±5.7 和 61.8±10.2，显著低于使用联合合成 Bonsai 表征所达到的 85.2%。
• 即使 Bonsai 表征被冻结且未进行微调，其仍使 ERM 在 WILDS Camelyon17 排行榜上超越先前 ERM 结果，证明了丰富特征构建带来的强归纳偏置。