[论文解读] Learning To Simulate

Nataniel Ruiz, Samuel Schulter+1 more|arXiv (Cornell University)|Oct 5, 2018

Machine Learning and Data Classification参考文献 26被引用 12

一句话总结

本文提出了一种基于强化学习的方法，名为“Learning to Simulate”（LTS），可自动优化模拟器参数，以生成最大化下游机器学习模型准确率的合成数据。通过将数据生成建模为元优化问题，该方法优于随机或人工设计的参数，在KITTI车辆分割任务中达到57.9%的mIoU，甚至在某些情况下超越了使用真实数据训练的性能。

ABSTRACT

Simulation is a useful tool in situations where training data for machine learning models is costly to annotate or even hard to acquire. In this work, we propose a reinforcement learning-based method for automatically adjusting the parameters of any (non-differentiable) simulator, thereby controlling the distribution of synthesized data in order to maximize the accuracy of a model trained on that data. In contrast to prior art that hand-crafts these simulation parameters or adjusts only parts of the available parameters, our approach fully controls the simulator with the actual underlying goal of maximizing accuracy, rather than mimicking the real data distribution or randomly generating a large volume of data. We find that our approach (i) quickly converges to the optimal simulation parameters in controlled experiments and (ii) can indeed discover good sets of parameters for an image rendering simulator in actual computer vision applications.

研究动机与目标

• 通过利用模拟作为可扩展的替代方案，解决机器学习中高成本数据标注的挑战。
• 克服先前方法依赖手工设计或随机采样模拟器参数的局限性。
• 将数据生成建模为元学习问题，其中模拟器参数被优化以最大化下游模型性能。
• 探究模仿真实数据分布是否为最优训练策略，或是否存在其他合成分布能带来更高的模型准确率。
• 实现高效、有针对性的数据合成，减少对大规模、多样化或标注真实数据的依赖。

提出的方法

• 将问题形式化为双层优化：上层策略学习模拟器参数ψ，以最小化验证数据上的模型损失。
• 使用策略梯度方法（Williams, 1992）优化上层目标，即使在不可微分的模拟器下也能实现端到端训练。
• 设计一个黑箱接口，将策略输出ψ映射到模拟器的输入空间，从而与任意模拟器交互。
• 在每组ψ生成的合成数据上训练主任务模型（MTM），并以验证集性能作为奖励信号。
• 应用策略梯度算法，沿提高验证准确率的方向更新ψ，实现最优参数的自动发现。
• 采用元学习框架，根据模型在保留数据上的表现结果，调整模拟器参数。

实验结果

研究问题

• RQ1 我们能否自动发现比人工设计或随机采样参数更优的模拟器参数，以提升模型准确率？
• RQ2 训练模型的最佳数据分布是否与真实数据分布相同？还是其他合成分布能带来更好性能？
• RQ3 在受控环境和真实世界设置下，该方法多快能收敛到高性能的模拟参数？
• RQ4 通过“Learning to Simulate”实现的定向数据生成，是否在数据生成效率和模型准确率上优于随机搜索或穷举搜索？
• RQ5 当模拟器与真实数据之间存在领域差距时，该方法能否在真实世界计算机视觉基准（如KITTI）上实现泛化？

主要发现

• 所提出的“Learning to Simulate”（LTS）方法在KITTI测试集上的车辆分割任务中，mIoU达到57.9%，优于使用随机参数生成数据的训练结果。
• LTS的性能超越了在982张真实KITTI训练图像上训练的模型（该模型达到77.8% mIoU），表明当参数被恰当优化时，合成数据可比真实数据更有效。
• 该方法在验证集和测试集上的性能均优于使用实际验证集参数生成数据训练的模型，证明这些参数并非最优。
• LTS在收敛速度和最终性能上均优于随机搜索，表明基于学习的参数搜索优于暴力采样方法。
• 该方法在玩具实验和真实世界语义分割任务中均成功发现高质量的模拟参数，证实了其实际应用价值。
• 该方法对不可微分模拟器具有鲁棒性，且在黑箱模拟器上表现良好，表明其在计算机视觉和机器人领域的广泛应用潜力。