[论文解读] CoDEPS: Online Continual Learning for Depth Estimation and Panoptic Segmentation

Niclas Vödisch, Kürsat Petek+2 more|arXiv (Cornell University)|Mar 17, 2023

Domain Adaptation and Few-Shot Learning参考文献 38被引用 5

一句话总结

CoDEPS 提出首个用于单目深度估计与全景分割联合任务的在线持续学习框架，采用固定大小的回放缓冲区，并结合稀有类别采样与图像多样性采样以缓解灾难性遗忘。通过在未标注目标数据上利用跨域混合进行伪标签生成，该方法在无需微调的情况下实现了在真实世界多种域上的鲁棒性，性能达到当前最先进水平。

ABSTRACT

Operating a robot in the open world requires a high level of robustness with respect to previously unseen environments. Optimally, the robot is able to adapt by itself to new conditions without human supervision, e.g., automatically adjusting its perception system to changing lighting conditions. In this work, we address the task of continual learning for deep learning-based monocular depth estimation and panoptic segmentation in new environments in an online manner. We introduce CoDEPS to perform continual learning involving multiple real-world domains while mitigating catastrophic forgetting by leveraging experience replay. In particular, we propose a novel domain-mixing strategy to generate pseudo-labels to adapt panoptic segmentation. Furthermore, we explicitly address the limited storage capacity of robotic systems by leveraging sampling strategies for constructing a fixed-size replay buffer based on rare semantic class sampling and image diversity. We perform extensive evaluations of CoDEPS on various real-world datasets demonstrating that it successfully adapts to unseen environments without sacrificing performance on previous domains while achieving state-of-the-art results. The code of our work is publicly available at http://codeps.cs.uni-freiburg.de.

研究动机与目标

• 解决在开放世界环境中部署机器人感知系统时面临的未见域问题，且无法访问真实标签的问题。
• 在在线适应新真实世界环境时，缓解深度学习模型的灾难性遗忘问题。
• 开发一种适用于内存与计算资源有限的机器人平台的存储高效型持续学习方法。
• 实现在无监督、在线条件下对深度估计与全景分割任务的联合适应。
• 通过一种新颖的跨域混合策略，提升在多样化真实世界域之间的泛化能力。

提出的方法

• 采用固定大小的经验回放缓冲区，结合源域数据与先前见过的目标图像，以防止遗忘。
• 在源域缓冲区中实施稀有语义类别采样，在目标域缓冲区中采用基于图像多样性的采样策略，以确保回放的代表性。
• 提出一种新颖的跨域混合策略，将带标注的源域图像与未标注的目标域图像结合，为全景分割生成伪标签。
• 对学生网络采用指数移动平均（EMA）更新规则，并使用域相关的动量（目标域为0.7），以稳定适应过程。
• 使用 Monodepth2 进行无监督深度估计，并通过回放缓冲区与域混合数据对模型进行在线微调。
• 通过多任务损失联合训练深度估计与全景分割任务，其中全景头通过跨域混合策略生成的伪标签进行更新。

实验结果

研究问题

• RQ1 在线持续学习能否有效应用于真实机器人部署中的联合深度估计与全景分割任务？
• RQ2 在无法访问真实标注的情况下，如何在适应新未标注目标域时缓解灾难性遗忘？
• RQ3 固定大小的回放缓冲区结合类别感知与多样性采样，在持续学习中在多大程度上提升了性能与稳定性？
• RQ4 在无标注条件下，所提出的跨域混合策略是否能有效生成高质量的全景分割伪标签？
• RQ5 在持续学习设置下，能否在多个真实世界域之间实现正向的前向与后向迁移？

主要发现

• CoDEPS 有效缓解了在适应 KITTI-360 后对先前源域 SemKITTI-DVPS 的灾难性遗忘，即使在适应后仍保持了高水平性能。
• 该方法实现了正向后向迁移，在适应新域后，对早期域的性能有所提升，表明知识保留效果良好。
• 在先学习 SemKITTI-DVPS 后再适应 KITTI-360 时，观察到正向前向迁移，深度估计与分割任务性能均有所提升。
• SemKITTI-DVPS 序列 08 的指标演化显示，随着适应步数增加，性能持续提升，尤其在接触 KITTI-360 后提升更为显著。
• CoDEPS 在真实世界到真实世界的持续学习设置下优于竞争性基线方法，在多种评估协议下均表现出最先进性能。
• 域混合与多样性采样策略的使用显著提升了模型泛化能力，体现在深度与分割任务指标的全面提升。