[논문 리뷰] The RoboDepth Challenge: Methods and Advancements Towards Robust Depth Estimation

Ling-Dong Kong, Yaru Niu외 40명|arXiv (Cornell University)|2023. 07. 27.

Image Processing Techniques and Applications인용 수 4

한 줄 요약

이 논문은 KITTI-C 및 NYUDepth2-C 벤치마크를 사용하여 분포 외(OoD) 손상 상황에서 강건한 단안 깊이 추정을 향상시키기 위해 개최된 RoboDepth 챌린지의 결과를 제시한다. 이 챌린지는 자율주행과 같은 안전이 중요한 응용 분야에서의 OoD 조건(악기상, 센서 고장, 노이즈 등)에 대비한 깊이 추정의 필요성을 다루며, 두 트랙(자기지도 및 완전지도 학습)에서 상위 9개 솔루션을 평가한다. 이들 솔루션은 적대적 훈련, 확산 기반 노이즈 제거, 시각-언어 사전학습, 계층적 특징 강화 등의 혁신적 기법을 적용하여 도전적인 OoD 시나리오에서 최신 기준 수준의 강건성을 달성한다.

ABSTRACT

Accurate depth estimation under out-of-distribution (OoD) scenarios, such as adverse weather conditions, sensor failure, and noise contamination, is desirable for safety-critical applications. Existing depth estimation systems, however, suffer inevitably from real-world corruptions and perturbations and are struggled to provide reliable depth predictions under such cases. In this paper, we summarize the winning solutions from the RoboDepth Challenge -- an academic competition designed to facilitate and advance robust OoD depth estimation. This challenge was developed based on the newly established KITTI-C and NYUDepth2-C benchmarks. We hosted two stand-alone tracks, with an emphasis on robust self-supervised and robust fully-supervised depth estimation, respectively. Out of more than two hundred participants, nine unique and top-performing solutions have appeared, with novel designs ranging from the following aspects: spatial- and frequency-domain augmentations, masked image modeling, image restoration and super-resolution, adversarial training, diffusion-based noise suppression, vision-language pre-training, learned model ensembling, and hierarchical feature enhancement. Extensive experimental analyses along with insightful observations are drawn to better understand the rationale behind each design. We hope this challenge could lay a solid foundation for future research on robust and reliable depth estimation and beyond. The datasets, competition toolkit, workshop recordings, and source code from the winning teams are publicly available on the challenge website.

연구 동기 및 목표

• 악기상, 센서 고장, 노이즈 등의 분포 외(OoD) 조건에서 안전이 중요한 응용 분야에서의 강건한 깊이 추정이 필수적이라는 점을 해결한다.
• 최근에 설립된 KITTI-C 및 NYUDepth2-C 벤치마크를 활용해 실제 시뮬레이션된 데이터 손상 상황에서의 단안 깊이 추정 기술을 평가함으로써 최신 기술 수준을 향상시킨다.
• 분포 이탈 상황에서의 일반화 능력을 중점으로 삼은 경쟁을 통해 강건한 깊이 추정 분야의 혁신을 촉진한다. 이는 자기지도 학습과 완전지도 학습이라는 두 가지 별도의 트랙으로 구성된다.
• 공개 플랫폼을 제공하여 데이터셋, 코드, 평가 도구를 제공함으로써 재현 가능한 연구 및 향후 강건한 시각 인식 기술 개발을 지원한다.
• OoD 일반화 능력을 향상시키는 데 효과적인 아키텍처 및 훈련 전략을 규명하고 분석하여 향후 모델 설계에 통찰을 제공한다.

제안 방법

• CodaLab 플랫폼에서 두 트랙의 경쟁을 개최하였다. 하나는 외부 KITTI-C 데이터를 대상으로 한 자기지도 학습 깊이 추정 트랙이며, 다른 하나는 실내 NYUDepth2-C 데이터를 대상으로 한 완전지도 학습 트랙이다.
• 엄격한 평가 기준을 적용: 훈련 과정에서 18종의 손상 유형을 사용하지 않도록 하였고, 재현 가능성을 확보하기 위해 필수적인 코드 제출을 의무화하여 공정하고 투명한 벤치마크 평가를 보장하였다.
• 세 가지 카테고리로 나누어진 18종의 손상 유형을 사용해 평가를 수행하였다: 악기상/조명 문제, 운동/센서 고장, 처리 노이즈.
• RMSE, MAE, Δ1 등의 표준 지표를 사용해 정량적 평가를 수행하였으며, 손상의 여러 심각도 수준에 걸쳐 결과를 집계하였다.
• 수상 솔루션들에서 유래한 다양한 기법들을 통합하였다. 예를 들어 공간 및 주파수 도메인의 데이터 증강, 마스킹 이미지 모델링, 이미지 복원, 시각-언어 사전학습 등.
• 강건성을 향상시키기 위해 고급 기법들을 적용하였다: 적대적 훈련, 확산 기반 노이즈 제거, 학습된 모델 앙상블, 계층적 특징 강화.

실험 결과

연구 질문

• RQ1 어느 아키텍처 및 훈련 기법이 분포 외 손상 상황에서 깊이 추정의 강건성을 가장 효과적으로 향상시키는가?
• RQ2 실세계 손상 상황에서 자기지도 학습과 완전지도 학습 기반 깊이 추정 방법 간의 성능 및 일반화 능력은 어떻게 비교되는가?
• RQ3 시각-언어 사전학습, 적대적 훈련, 확산 기반 노이즈 제거 등의 기법이 모델의 강건성에 어느 정도 기여하는가?
• RQ4 다양한 손상 유형과 심각도 수준에서 일관되게 성능 향상을 이끄는 설계 패턴과 구성 요소는 무엇인가?
• RQ5 모델 앙상블 및 계층적 특징 학습은 추론 효율성에 손해를 주지 않으면서 어떻게 강건성을 향상시키는가?

주요 결과

• 수상 솔루션들은 KITTI-C 및 NYUDepth2-C 벤치마크에서 최신 기준 수준의 성능을 달성하였으며, 모든 18종의 손상 유형에서 강건성 향상을 명확히 보였다.
• 시각-언어 사전학습 및 확산 기반 노이즈 제거 기법은 특히 블러 및 기상 효과와 같은 복잡한 손상 상황에서 뛰어난 일반화 능력을 보였다.
• 적대적 훈련과 공간-주파수 도메인 증강 기법은 합성 및 실세계 편향을 다룰 때 효과적이었으며, 강건성을 향상시키는 데 기여했다.
• 학습된 모델 앙상블 및 계층적 특징 강화 기법은 특히 심각한 손상 수준에서 일관된 성능 향상을 이끌어내었다.
• 이미지 복원 및 초해상도 모듈의 통합은 저품질 입력 상황에서 깊이 예측 성능을 향상시켰으며, 강건한 추정에서 사전 처리의 중요성을 입증하였다.
• 이 챌린지는 TTA 및 중량이 큰 앙상블 기법이 차량 내 구현에 실용적이지 않을 수 있음을 드러내었으며, 이는 효율성 인식 설계의 필요성을 시사한다.