[논문 리뷰] Self-Supervised Monocular Depth Estimation with Self-Reference Distillation and Disparity Offset Refinement

Zhong Liu, Ran Li외 3명|arXiv (Cornell University)|2023. 02. 20.

Advanced Vision and Imaging인용 수 4

한 줄 요약

이 논문은 자기참조 distillation과 역량 오프셋 보정을 사용한 자기지도 학습 단안 깊이 추정 방법을 제안한다. 지속적으로 업데이트되는 학생-교수 모델 쌍과 다중시점 일관성에 의한 이상치 필터링을 통해 깊이 정확도를 향상시키고 업샘플링으로 인한 오차를 완화하여 KITTI 및 Make3D 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Monocular depth estimation plays a fundamental role in computer vision. Due to the costly acquisition of depth ground truth, self-supervised methods that leverage adjacent frames to establish a supervisory signal have emerged as the most promising paradigms. In this work, we propose two novel ideas to improve self-supervised monocular depth estimation: 1) self-reference distillation and 2) disparity offset refinement. Specifically, we use a parameter-optimized model as the teacher updated as the training epochs to provide additional supervision during the training process. The teacher model has the same structure as the student model, with weights inherited from the historical student model. In addition, a multiview check is introduced to filter out the outliers produced by the teacher model. Furthermore, we leverage the contextual consistency between high-scale and low-scale features to obtain multiscale disparity offsets, which are used to refine the disparity output incrementally by aligning disparity information at different scales. The experimental results on the KITTI and Make3D datasets show that our method outperforms previous state-of-the-art competitors.

연구 동기 및 목표

• 실제 환경의 깊이 주석 데이터가 제한되어 있음에 따라 자기지도 학습 단안 깊이 추정 기술을 향상시키는 데 목적을 둔다.
• 기존 자기지도 학습 방법이 실패하는 동적인 또는 텍스처가 적은 영역에서 학습 안정성과 깊이 추정 정확도를 향상시키는 데 목적을 둔다.
• 다중 척도 특징 예측에서 업샘플링으로 인한 역량 오차 정렬 문제를 해결하기 위해 맥락 일관성 기반 보정을 도입하는 데 목적을 둔다.
• 기존 distillation 방법의 이중 단계 학습 오버헤드를 피하기 위해 단일 단계, 효율적인 distillation 프레임워크를 개발하는 데 목적을 둔다.

제안 방법

• 학습 에포크마다 학생 모델의 가중치로 업데이트되는 동일한 아키텍처를 가진 교수 모델을 사용하는 자기참조 distillation을 도입하여 변화하는 지도를 제공한다.
• 전방 및 후방 이미지 워핑 간의 일관성 검증을 통해 운동 또는 에지 영역에서 특히 신뢰할 수 없는 깊이 예측을 탐지하고 억제하기 위해 다중시점 체크 필터를 적용한다.
• 고수준 및 저수준 특징 간의 맥락 일관성을 활용하여 다중 척도 역량 오프셋을 예측하고 이를 통해 역량 맵을 점진적으로 보정한다.
• 역량 오프셋 필드를 사용하여 업샘플링 과정에서 유도된 오차 정렬을 수정함으로써 다양한 특징 척도 간의 정렬을 향상시킨다.
• 광학 재구성 손실과 필터링된 교수 출력에서 유도된 distillation 손실을 조합한 손실을 사용하여 학생 모델을 엔드 투 엔드로 학습시킨다.
• 다중시점 체크에서 유도된 이진화된 하드 마스크를 활용하여 distillation 과정에서 높은 오차 영역을 선택적으로 억제함으로써 강건성을 향상시킨다.

Figure 1: Illustration of the depth map, error map and binary mask from the proposed method. The first row is the RGB image, and the second row is the depth map. The third row is the intermediate error map generated by the multiview check filter, where the places with large errors are red and yellow

실험 결과

연구 질문

• RQ1 독립적인 사전 훈련이 필요 없이 지속적으로 업데이트되는 교수 모델이 자기지도 학습 깊이 추정 성능을 향상시킬 수 있는가?
• RQ2 distillation 과정에서 교수 모델의 불신뢰할 수 있는 깊이 예측을 걸러내기 위해 다중시점 일관성 체크가 얼마나 효과적인가?
• RQ3 특징 수준의 맥락 기반 역량 오프셋 보정이 다중 척도 역량 예측에서의 오차 정렬을 줄이는 데 기여하는가?
• RQ4 제안된 방법이 기존의 이중 단계 distillation 방법보다 더 뛰어난 성능과 효율성을 달성하는가?

주요 결과

• 제안된 방법은 KITTI 및 Make3D 데이터셋에서 최신 기술 수준의 성능을 달성하여 이전의 자기지도 학습 방법을 능가한다.
• 자기참조 distillation 모듈은 Sq Rel 지표를 크게 향상시켜 깊이 추정 오차 감소의 효과를 입증한다.
• 다중시점 체크 필터에서 유도된 하드 마스크는 모든 평가 지표에서 소프트 마스크, 발견 마스크, 자동 마스크보다 뛰어나며, 특히 이상치 처리에서 뛰어난 성능을 보였다.
• MPViT-S를 백본으로 사용할 경우 최고의 성능을 기록하여 제안된 모듈이 강력한 특징 표현 학습 능력을 제공함을 시사한다.
• 최소한의 계산 오버헤드로 뛰어난 성능을 달성하였으며, 훈련 시간과 FLOPs 측면에서 이중 단계 distillation 방법보다 뛰어난 성능을 기록했다.
• 절단 실험 결과 모든 구성 요소—자기참조 distillation, 다중시점 체크, 역량 정렬—이 성능 향상에 독립적이고 상당한 기여를 한다는 것이 확인되었다.

Figure 2: Overview of the proposed framework. The model adopts an encoder-decoder architecture, in which the encoder is a commonly used backbone, such as ResNet [ 13 ] and Swin Transformer [ 14 ] . Our decoder outputs disparity, which is then converted to depth. The branch of the teacher model provi