[논문 리뷰] CoDEPS: Online Continual Learning for Depth Estimation and Panoptic Segmentation

Niclas Vödisch, Kürsat Petek외 2명|arXiv (Cornell University)|2023. 03. 17.

Domain Adaptation and Few-Shot Learning참고 문헌 38인용 수 5

한 줄 요약

CoDEPS는 재현 가능한 지속적 학습 프레임워크를 통해 단일 영상 기반 깊이 추정과 패노프틱 세그멘테이션을 동시에 수행하는 최초의 온라인 지속적 학습 프레임워크를 제안한다. 희귀 클래스 및 다양한 이미지 샘플링을 통한 고정 크기의 재생 버퍼를 활용하여 치명적인 잊음 현상을 완화한다. 레이블이 없는 타겟 데이터에 대해 교차 도메인 혼합을 활용한 가짜 레이블링을 통해 최신 기술 성능을 달성하면서도, 재학습 없이도 실제 도메인 간에 강건성을 유지한다.

ABSTRACT

Operating a robot in the open world requires a high level of robustness with respect to previously unseen environments. Optimally, the robot is able to adapt by itself to new conditions without human supervision, e.g., automatically adjusting its perception system to changing lighting conditions. In this work, we address the task of continual learning for deep learning-based monocular depth estimation and panoptic segmentation in new environments in an online manner. We introduce CoDEPS to perform continual learning involving multiple real-world domains while mitigating catastrophic forgetting by leveraging experience replay. In particular, we propose a novel domain-mixing strategy to generate pseudo-labels to adapt panoptic segmentation. Furthermore, we explicitly address the limited storage capacity of robotic systems by leveraging sampling strategies for constructing a fixed-size replay buffer based on rare semantic class sampling and image diversity. We perform extensive evaluations of CoDEPS on various real-world datasets demonstrating that it successfully adapts to unseen environments without sacrificing performance on previous domains while achieving state-of-the-art results. The code of our work is publicly available at http://codeps.cs.uni-freiburg.de.

연구 동기 및 목표

• 미리 알 수 없는 도메인과 지표 레이블에 접근할 수 없는 오픈 월드 환경에서 로봇 인식 시스템을 구현하는 과제를 해결한다.
• 실제 도메인으로의 온라인 적응 과정에서 딥 러닝 모델의 치명적인 잊음 현상을 완화한다.
• 메모리와 계산 자원이 제한된 로봇 플랫폼에 적합한 저장 공간 효율적인 지속적 학습 방법을 개발한다.
• 비지도 학습 방식으로 깊이 추정 및 패노프틱 세그멘테이션을 동시에 온라인으로 적응 가능하게 한다.
• 가짜 레이블링을 위한 새로운 교차 도메인 혼합 전략을 통해 다양한 실제 도메인 간 일반화 성능을 향상시킨다.

제안 방법

• 기존에 본 타겟 이미지와 소스 도메인 데이터를 조합한 고정 크기의 경험 재생 버퍼를 사용하여 기억 상실을 방지한다.
• 소스 버퍼에선 희귀 의미 클래스 샘플링을, 타겟 버퍼에선 이미지 다양성 기반 샘플링을 구현하여 재생의 대표성을 확보한다.
• annotation이 있는 소스 이미지와 레이블이 없는 타겟 이미지를 혼합하는 새로운 교차 도메인 혼합 전략을 도입하여 패노프틱 세그멘테이션의 가짜 레이블을 생성한다.
• 학생 네트워크에 대해 도메인에 따라 달라지는 모멘텀(타겟 도메인에선 0.7)을 사용하는 지수이동평균(EMA) 업데이트 규칙을 적용하여 적응의 안정성을 높인다.
• Monodepth2를 비지도 깊이 추정에 사용하고, 재생 버퍼 및 도메인 혼합 데이터를 활용한 온라인 미세조정을 통해 이를 적응시킨다.
• 다중 작업 손실을 사용하여 깊이 추정 및 패노프틱 세그멘테이션을 공동 학습하며, 패노프틱 헤드는 교차 도메인 혼합 전략을 통해 생성된 가짜 레이블을 통해 업데이트한다.

실험 결과

연구 질문

• RQ1 실제 로봇 구현 환경에서 깊이 추정과 패노프틱 세그멘테이션을 동시에 온라인 지속적 학습에 효과적으로 적용할 수 있는가?
• RQ2 지표 레이블이 없는 새로운 타겟 도메인으로의 적응 과정에서 치명적인 잊음 현상을 어떻게 완화할 수 있는가?
• RQ3 클래스 인식 및 다양성 기반 샘플링을 통한 고정 크기의 재생 버퍼가 지속적 학습에서 성능과 안정성 향상에 얼마나 기여하는가?
• RQ4 제안된 교차 도메인 혼합 전략이 레이블이 없는 환경에서 패노프틱 세그멘테이션의 고품질 가짜 레이블을 효과적으로 생성하는가?
• RQ5 다양한 실제 도메인 간에 지속적 학습 환경에서 양방향 전이 효과(양의 정방향 및 역방향 전이)를 달성할 수 있는가?

주요 결과

• CoDEPS는 SemKITTI-DVPS에 대해 기존에 본 소스 도메인에서의 치명적인 잊음 현상을 효과적으로 완화하여 KITTI-360로의 적응 후에도 높은 성능을 유지한다.
• 모델은 새로운 도메인으로의 적응 이후 이전 도메인에서의 성능 향상을 보이며, 긍정적인 역방향 전이를 나타내어 효과적인 지식 유지가 이루어졌음을 시사한다.
• SemKITTI-DVPS에서 먼저 학습한 후 KITTI-360로의 적응 과정에서 깊이 추정 및 세그멘테이션 양 측면에서 성능 향상이 관찰되어 긍정적인 정방향 전이가 발생하였다.
• SemKITTI-DVPS 시퀀스 08에서의 지표 변화를 보면, 점차 증가하는 적응 단계에 따라 일관된 성능 향상이 관찰되었으며, KITTI-360에 노출된 후 특히 두드러진 개선이 있었다.
• CoDEPS는 실제 도메인 간 지속적 학습 설정에서 경쟁 기반 모델들을 능가하며, 다양한 평가 프로토콜에서 최신 기술 성능을 달성하였다.
• 도메인 혼합 및 다양성 샘플링의 활용이 모델 일반화 능력을 크게 향상시켰으며, 깊이 및 세그멘테이션 과제에서 모두 향상된 지표로 이를 입증하였다.