[论文解读] VADRA: Visual Adversarial Domain Randomization and Augmentation.

Rawal Khirodkar, Donghyun Yoo+1 more|arXiv (Cornell University)|Dec 3, 2018

Domain Adaptation and Few-Shot Learning参考文献 48被引用 11

一句话总结

VADRA 提出了一种对抗性域随机化框架，通过在学习者与生成模型之间建立闭环，改进了合成数据生成，将均匀随机化替换为对抗性优化。与标准域随机化相比，该方法在 CLEVR、Syn2Real 和 VIRAT 等视觉任务上实现了更好的泛化性能。

ABSTRACT

We address the issue of learning from synthetic domain randomized data effectively. While previous works have showcased domain randomization as an effective learning approach, it lacks in challenging the learner and wastes valuable compute on generating easy examples. This can be attributed to uniform randomization over the rendering parameter distribution. In this work, firstly we provide a theoretical perspective on characteristics of domain randomization and analyze its limitations. As a solution to these limitations, we propose a novel algorithm which closes the loop between the synthetic generative model and the learner in an adversarial fashion. Our framework easily extends to the scenario when there is unlabelled target data available, thus incorporating domain adaptation. We evaluate our method on diverse vision tasks using state-of-the-art simulators for public datasets like CLEVR, Syn2Real, and VIRAT, where we demonstrate that a learner trained using adversarial data generation performs better than using a random data generation strategy.

研究动机与目标

• 为解决标准域随机化存在的局限性，即生成简单、均匀随机的样本，导致计算资源浪费且无法有效挑战学习者。
• 开发一种闭环框架，基于学习者的困难程度，对抗性地优化合成数据分布。
• 将该方法扩展至存在未标注真实数据的场景，实现与域自适应的集成。
• 利用最先进的模拟器，在多样化视觉任务上提升模型的泛化能力和鲁棒性。

提出的方法

• 引入对抗性训练循环，使合成数据生成器优化为生成对学习者具有挑战性的样本。
• 将数据生成过程建模为生成器（合成数据）与学习者（判别策略）之间的极小化极大博弈，其中生成器的目标是最大化学习者的损失。
• 利用学习者的性能反馈，引导生成器生成更具多样性与挑战性的数据分布。
• 将框架扩展以整合未标注的真实数据，通过对齐合成数据与真实数据的分布，实现域自适应。
• 在 CLEVR、Syn2Real 和 VIRAT 等标准视觉基准上，使用相关模拟器应用该方法。

实验结果

研究问题

• RQ1 与均匀域随机化相比，对抗性数据生成在多大程度上提升了模型的泛化能力？
• RQ2 学习者与生成器之间的闭环对抗框架能否生成更有效的合成训练数据？
• RQ3 当存在未标注的真实数据时，VADRA 在多大程度上提升了性能？
• RQ4 在多样化视觉任务上，VADRA 与标准域随机化相比表现如何？

主要发现

• VADRA 在 CLEVR、Syn2Real 和 VIRAT 等视觉任务上优于标准域随机化，展现出更强的泛化能力。
• 对抗性反馈环路生成了更具挑战性与多样性的合成数据，减少了简单样本的生成数量。
• 当存在未标注的真实数据时，该方法能有效与域自适应集成，显著提升真实世界基准上的性能。
• 所提出的框架通过避免生成标准随机化中常见的低难度样本，减少了计算资源的浪费。