[논문 리뷰] Boosting Light-Weight Depth Estimation Via Knowledge Distillation

Junjie Hu, Chenyou Fan외 5명|arXiv (Cornell University)|2021. 05. 13.

Advanced Vision and Imaging참고 문헌 47인용 수 9

한 줄 요약

이 논문은 단일 카메라 깊이 추정 네트워크를 위해 단지 170만 개의 파라미터를 사용하면서 지식 증류(KD)를 통해 최신 기술 수준의 정확도를 달성하는 경량화된 네트워크를 제안한다. 유사한 환경 분포에서 유래한 보조 비라벨 데이터를 활용하여, 대규모 교사 네트워크의 행동을 모방하도록 작고 컴act한 학생 네트워크를 훈련시킴으로써, 성능을 향상시키면서도 극도로 높은 계산 효율성을 유지한다. 이는 이전의 경량 모델을 능가하며, 파라미터 수가 최신 기술 수준의 모델의 약 1퍼센트에 불과한 수준에서 동일한 성능을 달성한다.

ABSTRACT

Monocular depth estimation (MDE) methods are often either too computationally expensive or not accurate enough due to the trade-off between model complexity and inference performance. In this paper, we propose a lightweight network that can accurately estimate depth maps using minimal computing resources. We achieve this by designing a compact model architecture that maximally reduces model complexity. To improve the performance of our lightweight network, we adopt knowledge distillation (KD) techniques. We consider a large network as an expert teacher that accurately estimates depth maps on the target domain. The student, which is the lightweight network, is then trained to mimic the teacher's predictions. However, this KD process can be challenging and insufficient due to the large model capacity gap between the teacher and the student. To address this, we propose to use auxiliary unlabeled data to guide KD, enabling the student to better learn from the teacher's predictions. This approach helps fill the gap between the teacher and the student, resulting in improved data-driven learning. Our extensive experiments show that our method achieves comparable performance to state-of-the-art methods while using only 1% of their parameters. Furthermore, our method outperforms previous lightweight methods regarding inference accuracy, computational efficiency, and generalizability.

연구 동기 및 목표

• 단일 카메라 깊이 추정(MDE)에서 추론 정확도와 계산 효율성 사이의 상충 관계를 해결하기 위해.
• 모델 복잡도를 최소화하면서도 깊이 추정 정확도를 손상시키지 않는 매우 컴팩트한 신경망 아키텍처를 설계하기 위해.
• 유사한 환경 분포에서 유래한 보조 데이터를 활용한 지식 증류(KD)를 통해 경량 모델의 성능을 향상시키기 위해.
• SUNRGBD 및 TUM와 같은 교차 데이터셋 벤치마크에서 제안된 방법의 일반화 능력을 평가하기 위해.

제안 방법

• MobileNet-v2 기반의 경량 학생 네트워크를 설계하여, 특징 맵 압축 및 연결을 통해 파라미터 수를 170만 개로 줄였다.
• 큰 사전 훈련된 교사 네트워크가 학생 네트워크에 감독 신호를 제공하도록 지식 증류를 적용하였다.
• 유사한 도메인(예: NYU-v2 및 ScanNet)에서 유래한 보조 비라벨 데이터를 사용하여 KD를 강화함으로써, 데이터 기반 학습과 성능을 향상시켰다.
• 학생 네트워크는 원본 라벨 데이터와 보조 비라벨 데이터 양쪽 모두에서 훈련되며, 교사의 예측 결과가 증류 과정을 지도한다.
• 라벨이 부여된 보조 데이터의 경우, 교사는 원본 및 보조 라벨 데이터 집합을 결합한 후 미세조정(fine-tuned)된 후에 KD가 적용된다.
• 도메인 간 깊이 분포의 유사성(예: 긴 꼬리형 깊이 히스토GRAM)을 활용하여 일반화 능력과 증류 효율성을 향상시켰다.

실험 결과

연구 질문

• RQ1 보조 비라벨 데이터를 활용한 지식 증류가 경량 깊이 추정 네트워크의 성능을 크게 향상시킬 수 있는가?
• RQ2 유사한 도메인에서 유래한 보조 데이터의 사용이 단일 카메라 깊이 추정에서 학생 네트워크의 일반화 능력과 정확도에 어떤 영향을 미치는가?
• RQ3 보조 샘플의 수가 지식 증류 성능에 미치는 영향은 무엇이며, 포화 현상(diminishing return)이 발생하는가?
• RQ4 최신 기술 수준의 모델에 비해 파라미터 수가 약 1퍼센트에 불과한 학생 네트워크가 유사하거나 더 높은 정확도를 달성할 수 있는가?
• RQ5 제안된 방법은 미세조정 없이도 SUNRGBD 및 TUM와 같은 다양한 데이터셋에서 잘 일반화되는가?

주요 결과

• 제안된 방법은 SUNRGBD 데이터셋에서 RMSE 0.577과 REL 0.338을 달성하여, Fast-depth 및 Joint-depth보다 두 지표에서 모두 뛰어난 성능을 보였다.
• 보조 비라벨 데이터를 사용할 경우, TUM 데이터셋에서 평균 δ₁ 정확도 0.530을 기록하여 Fast-depth(0.369)와 Joint-depth(0.494)를 모두 초월했다.
• 보조 라벨 데이터를 사용할 경우, TUM에서 평균 δ₁ 정확도 0.781을 달성하여 다른 방법들보다 뚜렷이 뛰어난 성능을 보였다.
• 보조 샘플이 많을수록 지식 증류의 성능이 향상되지만, 153,000개를 초과하면 포화 현상이 관찰되었다.
• 모델는 다양한 데이터셋 간에 잘 일반화되어 있으며, SUNRGBD에서는 가장 낮은 RMSE와 REL을 기록하고 TUM에서는 가장 높은 δ₁ 정확도를 달성하여 강력한 강인성과 전이 능력을 입증했다.
• 기존 최신 기술 수준의 모델이 사용하는 파라미터 수의 약 1퍼센트인 170만 개의 파라미터로도 최신 기술 수준의 성능을 달성하였으며, 높은 추론 효율성도 유지하고 있다.