[논문 리뷰] X-Distill: Improving Self-Supervised Monocular Depth via Cross-Task Distillation

Hong Cai, Janarbek Matai외 4명|arXiv (Cornell University)|2021. 10. 24.

Advanced Vision and Imaging참고 문헌 32인용 수 10

한 줄 요약

X-Distill는 사전 훈련된 세분화 교사 모델에서 깊이 학생 네트워크로 의미 지식을 전달함으로써 자기지도 학습 기반 단안 깊이 추정을 향상시키는 교차 작업 지식 정련 프레임워크를 제안한다. 훈련 가능한 깊이-세분화 어댑터 네트워크를 사용하여 세분화 감독 신호를 깊이 네트워크로 역전파할 수 있게 하며, 추론 오버헤드 없이 KITTI 및 Make3D에서 최신 기술 성능을 달성한다.

ABSTRACT

In this paper, we propose a novel method, X-Distill, to improve the self-supervised training of monocular depth via cross-task knowledge distillation from semantic segmentation to depth estimation. More specifically, during training, we utilize a pretrained semantic segmentation teacher network and transfer its semantic knowledge to the depth network. In order to enable such knowledge distillation across two different visual tasks, we introduce a small, trainable network that translates the predicted depth map to a semantic segmentation map, which can then be supervised by the teacher network. In this way, this small network enables the backpropagation from the semantic segmentation teacher's supervision to the depth network during training. In addition, since the commonly used object classes in semantic segmentation are not directly transferable to depth, we study the visual and geometric characteristics of the objects and design a new way of grouping them that can be shared by both tasks. It is noteworthy that our approach only modifies the training process and does not incur additional computation during inference. We extensively evaluate the efficacy of our proposed approach on the standard KITTI benchmark and compare it with the latest state of the art. We further test the generalizability of our approach on Make3D. Overall, the results show that our approach significantly improves the depth estimation accuracy and outperforms the state of the art.

연구 동기 및 목표

• 비싼 진짜 깊이 애너테이션을 요구하지 않고 자기지도 학습 기반 단안 깊이 추정을 향상시키는 것.
• 사전 훈련된 세분화 네트워크에서 깊이 추정 네트워크로 의미 지식을 전달하는 것.
• 의미 세분화와 깊이 추정이라는 본질적으로 다른 두 작업 간에 교차 작업 지식 정련을 가능하게 하는 것.
• 깊이 예측을 의사 세분화 맵으로 변환하는 데 사용할 수 있는 경량이며 훈련 가능한 어댑터 네트워크를 설계하는 것.
• 시각적 및 기하학적 특성에 기반한 새로운 객체 그룹화 전략을 개발하여 의미 클래스와 깊이 구조 간의 정렬을 향상시키는 것.

제안 방법

• 예측된 깊이 맵을 의사 세분화 맵으로 변환하는 데 사용할 수 있는 소형이고 훈련 가능한 깊이-세분화 어댑터 네트워크를 도입한다.
• 어댑터 네트워크의 출력은 사전 훈련된 의미 세분화 교사 네트워크에 의해 감독되며, 이로써 의미 지식이 깊이 네트워크로 정련된다.
• 훈련 중에 자기지도 학습 기반 깊이 손실과 세분화 정련 손실을 선형적으로 스케줄링된 가중치 전략으로 조합한다.
• 의미 클래스와 깊이 구조 간의 정렬을 향상시키기 위해 시각적 및 기하학적 특성에 기반한 새로운 객체 그룹화 기법을 설계한다.
• 이 방법은 훈련 중에만 작동하며 추론 시 계산 오버헤드를 추가하지 않아 효율성을 유지한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 세분화 네트워크에서의 의미 지식이 자기지도 학습 기반 단안 깊이 추정을 향상시킬 수 있는가?
• RQ2 의미 세분화와 깊이 추정이라는 두 가지 다른 시각 작업 간에, 출력이 직접 비교 불가능할 경우 지식을 효과적으로 전달하는 방법은 무엇인가?
• RQ3 의미 지식 정련을 통해 깊이 네트워크로 세분화 감독을 역전파할 수 있도록 하는 교차 작업 어댑터 네트워크를 최적으로 설계하는 방법은 무엇인가?
• RQ4 의미 세분화와 깊이 추정 작업 간의 전이 가능성 최대화를 위해 객체 클래스를 어떻게 그룹화할 수 있는가?
• RQ5 제안된 방법은 다양한 깊이 네트워크 아키텍처와 데이터셋에 일반화되는가?

주요 결과

• X-Distill은 KITTI에서 Monodepth2 (ResNet-50)의 성능을 향상시켜 Abs Rel을 0.110에서 0.106으로, RMSE를 4.642에서 4.580으로 개선했다.
• 이 방법은 KITTI 벤치마크에서 최신 기술 성능을 달성하여 기존 자기지도 학습 방법들을 능가한다.
• Make3D에서 X-Distill은 강력한 일반화 성능을 보여주며, 다양한 도메인에 걸쳐 뛰어난 안정성을 확인한다.
• 제거 분석 결과 선형적으로 스케줄링된 손실 가중치 전략이 일정한 가중치 전략보다 우수하며, 최적의 성능는 최종 정련 가중치 0.0045에서 달성된다.
• 이 방법은 Monodepth2의 RN18, RN50, DONNA 백본뿐만 아니라 HR-Depth를 포함한 다양한 아키텍처에서 깊이 추정 정확도를 향상시킨다.
• 이 방법은 하이퍼파rameter 변화에 뛰어난 내성성을 보이며, 최종 정련 손실 가중치에 ±20% 변화가 있어도 성능에 큰 영향을 주지 않는다.