[논문 리뷰] DepthNet Nano: A Highly Compact Self-Normalizing Neural Network for Monocular Depth Estimation

Linda Wang, Mahmoud Famouri외 1명|arXiv (Cornell University)|2020. 04. 17.

Advanced Vision and Imaging참고 문헌 19인용 수 7

한 줄 요약

DepthNet Nano는 에지 배포를 위한 매크로 및 마이크로 아키텍처 최적화를 위한 인간-기계 협업 전략을 통해 설계된 매우 컴팩트하고 자기정규화형 컨볼루션 신경망으로, 단안 깊이 추정에 적합하다. NYU-Depth V2와 KITTI에서 최신 기준 성능을 달성하면서도 이전 연구 대비 24배 작고, MAC 연산 수는 42배 줄였으며, 30W 전력 예산에서 Jetson AGX Xavier에서 14 FPS 및 1초당 0.46장 이상의 이미지/와트 성능을 기록한다.

ABSTRACT

Depth estimation is an active area of research in the field of computer vision, and has garnered significant interest due to its rising demand in a large number of applications ranging from robotics and unmanned aerial vehicles to autonomous vehicles. A particularly challenging problem in this area is monocular depth estimation, where the goal is to infer depth from a single image. An effective strategy that has shown considerable promise in recent years for tackling this problem is the utilization of deep convolutional neural networks. Despite these successes, the memory and computational requirements of such networks have made widespread deployment in embedded scenarios very challenging. In this study, we introduce DepthNet Nano, a highly compact self normalizing network for monocular depth estimation designed using a human machine collaborative design strategy, where principled network design prototyping based on encoder-decoder design principles are coupled with machine-driven design exploration. The result is a compact deep neural network with highly customized macroarchitecture and microarchitecture designs, as well as self-normalizing characteristics, that are highly tailored for the task of embedded depth estimation. The proposed DepthNet Nano possesses a highly efficient network architecture (e.g., 24X smaller and 42X fewer MAC operations than Alhashim et al. on KITTI), while still achieving comparable performance with state-of-the-art networks on the NYU-Depth V2 and KITTI datasets. Furthermore, experiments on inference speed and energy efficiency on a Jetson AGX Xavier embedded module further illustrate the efficacy of DepthNet Nano at different resolutions and power budgets (e.g., ~14 FPS and >0.46 images/sec/watt at 384 X 1280 at a 30W power budget on KITTI).

연구 동기 및 목표

• 드론 및 자율주행 차량과 같은 자원 제약이 있는 임베디드 시스템에 큰 계산 비용이 드는 단안 깊이 추정 네트워크를 배포하는 데 도전하는 것.
• 모델 크기와 추론 비용을 극도로 줄이면서도 경쟁 가능한 깊이 추정 정확도를 유지하는 높은 효율성의 딥 네트워크를 개발하는 것.
• 최적의 에지 배포를 위해 원칙 기반 네트워크 프로토타이핑과 기계 기반 아키텍처 탐색을 융합한 인간-기계 협업 설계 전략을 활용하는 것.
• 깊이 추정 품질을 희생시키지 않고도 임베디드 하드웨어에서 높은 추론 속도와 에너지 효율성을 달성하는 것.
• 최소한의 하이퍼파라미터 튜닝으로도 안정적인 훈련과 강력한 성능을 보장하는 자기정규화 네트워크 아키텍처를 만드는 것.

제안 방법

• 맥락 기반 네트워크 설계와 기계 기반 아키텍처 탐색을 융합한 인간-기계 협업 설계 전략을 활용하여 매크로 및 마이크로 아키텍처를 공동 최적화하는 방식을 채택했다.
• 에지 깊이 추정에 특화된 맞춤형 모듈을 포함한 인코더-디코더 아키텍처 원칙에 기반해 DepthNet Nano를 설계했다.
• 훈련 안정성 향상과 일반화 성능 향상을 위해 자기정규화 구성요소(예: 스케일드 지수선형 활성화함수 및 스킵 연결)를 통합했다.
• 모델 크기와 계산 비용에 대한 제약 조건 하에서 반복적인 탐색을 통해 최소한의 파라미터 수와 MAC 연산 수를 확보하기 위해 아키텍처를 최적화했다.
• 실제 성능 평가를 위해 추론 플랫폼으로 Jetson AGX Xavier를 사용하였으며, 다양한 전력 예산(15W 및 30W) 조건에서 성능를 측정했다.
• 하이브리드 설계 파이프라인을 적용: 첫째, 인간 전문가가 아키텍처 원칙과 제약 조건을 정의하고, 둘째, 신경 아키텍처 탐색(NAS) 엔진이 이러한 제약 조건 하에서 구성 요소를 탐색하여 최적의 설계를 도출했다.

실험 결과

연구 질문

• RQ1 인간-기계 협업 설계 전략을 통해 계산 비용을 크게 줄인 컴팩트하고 자기정규화된 신경망을 개발할 수 있는가? 이 네트워크가 경쟁 가능한 깊이 추정 정확도를 확보할 수 있는가?
• RQ2 제안된 DepthNet Nano는 임베디드 하드웨어에서 추론 속도와 에너지 효율성 측면에서 최신 기준 네트워크와 비교해 어떻게 성능을 내는가?
• RQ3 표준 벤치마크에서 깊이 추정 성능을 훼손하지 않고 아키텍처 효율성을 얼마나 향상시킬 수 있는가?
• RQ4 DepthNet Nano의 자기정규화 성질이 자원이 제한된 환경에서 안정적인 훈련과 강건한 성능 향상에 기여하는가?
• RQ5 기존 모델보다 훨씬 적은 MAC 연산 수를 사용함에도 불구하고, DepthNet Nano는 깊이 예측의 시각적 품질을 유지할 수 있는가?

주요 결과

• KITTI 데이터셋에서 DepthNet Nano는 42배 적은 MAC 연산을 사용함에도 불구하고 δ₁ = 0.894를 기록하여 Alhashim 등 [2]의 성능(δ₁ = 0.886)과 유사한 결과를 달성했다.
• NYU-Depth V2 데이터셋에서 DepthNet Nano는 δ₁ = 0.816을 기록했으며, Alhashim 등 [2]의 성능(δ₁ = 0.846)보다 略적으로 낮지만, MAC 연산 수는 10배 적게 사용했다.
• Jetson AGX Xavier에서 30W 전력 예산 조건에서 DepthNet Nano는 KITTI에서 13.92 FPS 및 0.464 이미지/초/와트 성능을 기록했으며, Alhashim 등 [2]에 비해 속도 및 에너지 효율성에서 4.6배 뛰어난 성능을 보였다.
• NYU-Depth V2에서 DepthNet Nano는 30W 조건에서 15.8 FPS 및 0.527 이미지/초/와트 성능을 기록했으며, Alhashim 등 [2]에 비해 속도 및 에너지 효율성에서 2.3배 뛰어난 성능을 보였다.
• 정성적 결과 분석에서 DepthNet Nano는 최신 기준 모델과 유사한 시각적 깊이 맵을 생성했으며, 실제 지도 데이터의 일관성 부족에도 불구하고 거울 반사 영역의 일관성 향상이 뚜렷했다.
• KITTI에서 DepthNet Nano는 Alhashim 등 [2]에 비해 24배 작고, MAC 연산 수는 42배 줄였으며, 정확도 손실 없이도 큰 효율성 향상을 입증했다.