[论文解读] A System-Level View on Out-of-Distribution Data in Robotics

Rohan Sinha, Apoorva Sharma+7 more|arXiv (Cornell University)|Dec 28, 2022

Adversarial Robustness in Machine Learning被引用 7

一句话总结

本文倡导从系统层面审视机器人领域中的分布外（OOD）数据问题，主张OOD鲁棒性必须在整个自主系统栈——感知、预测、规划与控制——中进行评估与增强，而非孤立地优化单个模块。文章识别了实时、周期性及数据生命周期三个时间尺度下的关键挑战，并提出一个整体性框架，以提升开放世界机器人部署的可靠性。

ABSTRACT

When testing conditions differ from those represented in training data, so-called out-of-distribution (OOD) inputs can mar the reliability of learned components in the modern robot autonomy stack. Therefore, coping with OOD data is an important challenge on the path towards trustworthy learning-enabled open-world autonomy. In this paper, we aim to demystify the topic of OOD data and its associated challenges in the context of data-driven robotic systems, drawing connections to emerging paradigms in the ML community that study the effect of OOD data on learned models in isolation. We argue that as roboticists, we should reason about the overall extit{system-level} competence of a robot as it operates in OOD conditions. We highlight key research questions around this system-level view of OOD problems to guide future research toward safe and reliable learning-enabled autonomy.

研究动机与目标

• 解决学习型机器人系统中分布外（OOD）数据的关键挑战，即现实部署环境与训练数据存在差异。
• 强调OOD鲁棒性无法通过孤立优化单个模块来解决，而必须采用全栈式、系统级的视角。
• 识别在三个关键时间尺度上的研究空白：实时决策、周期性环境交互以及长期数据生命周期管理。
• 将问题定位为系统级可靠性挑战，而非特定模型问题，以确保安全、开放世界的机器人自主性。
• 通过提出具体且可操作的研究问题，激发未来研究，覆盖整个自主系统栈与数据生命周期。

提出的方法

• 采用系统级视角，分析OOD输入如何在感知、预测、规划与控制模块之间传播并导致性能下降。
• 以两个真实机器人应用场景——自主无人机配送与家庭服务机器人操作——作为贯穿案例，支撑分析。
• 提出应通过闭环系统性能评估OOD鲁棒性，而非仅依赖孤立模型的准确率或不确定性估计。
• 整合元学习、多任务学习与持续学习等机器学习趋势的洞见，以提升在分布偏移下的泛化能力。
• 强调社区基准测试的必要性，需包含保留的OOD场景，以实现对系统级OOD性能的可复现评估。
• 倡导采用数据高效、主动学习与选择性数据保留策略，以应对设备存储有限及罕见故障场景。

实验结果

研究问题

• RQ1 OOD数据如何在实时运行中影响从感知到低层控制的完整自主系统栈的可靠性？
• RQ2 机器人系统如何在多样且未见过的环境中保持一致性能，特别是在部署后任务分布发生变化的情况下？
• RQ3 在资源受限且罕见故障事件频发的前提下，部署期间应采用何种数据选择与保留策略，以提升长期系统鲁棒性？
• RQ4 如何利用元学习与多任务学习，实现在部署期间对OOD条件的快速适应？
• RQ5 需要哪些社区基准与仿真平台，以可扩展且可复现的方式评估闭环OOD性能？

主要发现

• OOD鲁棒性并非仅限于模型层面的问题，而是贯穿感知、预测、规划与控制组件的系统级挑战。
• 对各类任务平均性能的简单优化可能导致在罕见或分布偏移场景下表现不佳，凸显分布鲁棒训练的必要性。
• 实时OOD检测与缓解需在整个自主系统栈中集成机制，而不仅局限于感知或不确定性估计。
• 数据生命周期管理——尤其是选择性数据保留与主动学习——对资源受限机器人实现长期适应至关重要。
• 包含保留OOD场景的社区基准是加速评估系统级OOD鲁棒性进展的关键。
• 现有机器学习技术如元学习与多任务学习在提升OOD泛化方面具有潜力，但需针对机器人系统进行定制化整合。