[论文解读] How to Train PointGoal Navigation Agents on a (Sample and Compute) Budget

Erik Wijmans, Irfan Essa+1 more|arXiv (Cornell University)|Dec 10, 2020

Multimodal Machine Learning Applications被引用 4

一句话总结

本文提出了一套在严格样本（7500万帧）和计算资源（1张GPU，1天）预算下的高效训练策略。通过优化优势估计、视觉编码器架构以及一个关键超参数，作者在样本预算下于Gibson和Matterport3D上分别实现了8 SPL和20 SPL的性能提升；在计算预算下分别实现了19 SPL和35 SPL的改进——表明在极低资源条件下仍可实现显著的性能增益。

ABSTRACT

PointGoal navigation has seen significant recent interest and progress, spurred on by the Habitat platform and associated challenge. In this paper, we study PointGoal navigation under both a sample budget (75 million frames) and a compute budget (1 GPU for 1 day). We conduct an extensive set of experiments, cumulatively totaling over 50,000 GPU-hours, that let us identify and discuss a number of ostensibly minor but significant design choices -- the advantage estimation procedure (a key component in training), visual encoder architecture, and a seemingly minor hyper-parameter change. Overall, these design choices to lead considerable and consistent improvements over the baselines present in Savva et al. Under a sample budget, performance for RGB-D agents improves 8 SPL on Gibson (14% relative improvement) and 20 SPL on Matterport3D (38% relative improvement). Under a compute budget, performance for RGB-D agents improves by 19 SPL on Gibson (32% relative improvement) and 35 SPL on Matterport3D (220% relative improvement). We hope our findings and recommendations will make serve to make the community's experiments more efficient.

研究动机与目标

• 在严格的样本和计算资源约束下提升PointGoal导航性能。
• 识别并优化看似微小但对训练效率和最终性能有显著影响的设计选择。
• 为更广泛的科研社区提供可操作的、资源高效的训练方案。

提出的方法

• 在7500万帧的样本预算和1张GPU运行1天的计算预算下，作者开展了广泛的消融实验。
• 优化优势估计过程，以改善策略学习期间的信用分配。
• 评估不同的视觉编码器架构，以识别在资源受限条件下最有效的模型。
• 调整与价值函数损失相关的关键超参数，以提升训练稳定性和性能。
• 使用Habitat仿真平台，在Gibson和Matterport3D环境中训练和评估RGB-D代理。
• 累计超过50,000 GPU小时的实验，系统评估各项设计选择的影响。

实验结果

研究问题

• RQ1 在样本和计算资源受限条件下，不同的优势估计方法如何影响导航性能？
• RQ2 哪些视觉编码器架构在PointGoal导航任务中实现了最佳的性能-资源比？
• RQ3 价值函数损失中特定超参数的调整对最终代理性能有何影响？
• RQ4 是否可以在不增加计算或数据预算的前提下实现显著的性能提升？
• RQ5 哪些设计选择的组合能够实现PointGoal导航代理最高效且最有效的训练？

主要发现

• 在样本预算下，RGB-D代理在Gibson上相比基线方法实现了8 SPL的提升（相对提升14%），在Matterport3D上实现了20 SPL的提升（相对提升38%）。
• 在计算预算下，RGB-D代理在Gibson上实现了19 SPL的提升（相对提升32%），在Matterport3D上实现了35 SPL的提升（相对提升220%）。
• 优势估计过程的选择显著影响学习效率和最终性能，最优变体表现出一致的性能增益。
• 对视觉编码器架构的优化带来了可测量的性能提升，尤其在计算资源受限时更为明显。
• 价值函数损失中一个看似微小的超参数调整，可在两个数据集上均带来显著且一致的性能增益。
• 这些设计选择的组合使得在极低计算和数据资源下实现最先进性能成为可能。