[논문 리뷰] Anytime Stereo Image Depth Estimation on Mobile Devices

Yan Wang, Zihang Lai외 5명|arXiv (Cornell University)|2018. 10. 26.

Advanced Vision and Imaging참고 문헌 54인용 수 13

한 줄 요약

이 논문은 모바일 기기에서 추론 속도와 정확도 사이의 동적 트레이드오프를 가능하게 하는 anytime 스테레오 디프스 추정 모델인 AnyNet을 제안한다. 저해상도 예측에서 시작하여 단계적으로 잔차를 보정하는 방식으로 디스parity 맵을 정교화함으로써, 최신 기준 모델보다 파rameter 수를 100배 이상 줄였음에도 불구하고 KITTI 벤치마크에서 경쟁력 있는 정확도를 유지하면서 NVIDIA Jetson TX2에서 10–35 FPS의 성능을 달성한다.

ABSTRACT

Many applications of stereo depth estimation in robotics require the generation of accurate disparity maps in real time under significant computational constraints. Current state-of-the-art algorithms force a choice between either generating accurate mappings at a slow pace, or quickly generating inaccurate ones, and additionally these methods typically require far too many parameters to be usable on power- or memory-constrained devices. Motivated by these shortcomings, we propose a novel approach for disparity prediction in the anytime setting. In contrast to prior work, our end-to-end learned approach can trade off computation and accuracy at inference time. Depth estimation is performed in stages, during which the model can be queried at any time to output its current best estimate. Our final model can process 1242$ imes $375 resolution images within a range of 10-35 FPS on an NVIDIA Jetson TX2 module with only marginal increases in error -- using two orders of magnitude fewer parameters than the most competitive baseline. The source code is available at https://github.com/mileyan/AnyNet .

연구 동기 및 목표

• 에너지 및 메모리 제약이 있는 모바일 기기에서 실시간이고 정확한 스테레오 디프스 추정의 과제를 해결하기 위해.
• 추론 중에 계산 시간과 예측 정확도 사이의 동적 트레이드오프를 가능하게 하기 위해.
• 임베디드 플랫폼에서 성능을 희생시키지 않고 모델 복잡성과 파라미터 수를 줄이기 위해.
• 장애물 회피 및 경로 계획과 같은 적응형 응답 지연이 필요한 실시간 로봇 응용 분야를 지원하기 위해.
• 모델을 언제든지 쿼리하여 현재까지의 최상의 깊이 추정치를 제공할 수 있는 프레임워크를 설계하기 위해.

제안 방법

• 모델은 스테레오 이미지를 단계적으로 처리하며, 처음에는 전체 디스파리티 범위에서 저해상도(1/16) 디스파리티 맵을 계산한다.
• 후속 단계에서는 현재 추정치를 업샘플링하고, CNN을 사용하여 잔차 오차를 예측하며, 계산을 작은 디스파리티 범위(전체 범위의 10–20%)로 제한한다.
• 잔차 예측은 전체 비용 볼륨 계산 없이 국소 오차 보정에 집중함으로써 빠른 정교화를 가능하게 한다.
• 낮은 해상도에서 맥락 정보를 효과적으로 포착하기 위해 U-Net 기반의 특징 추출기를 사용한다.
• 속도와 정확도의 균형을 고려하여 효율적으로 매칭 비용을 계산할 수 있도록 거리 기반의 비용 볼륨 구축 방법을 사용한다.
• 전체 네트워크는 모든 단계에서 공동 손실을 사용하여 엔드 투 엔드로 훈련되며, 점진적인 정교화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 모바일 하드웨어에서 스테레오 디프스 추정에 대해 실시간으로 계산량과 정확도 사이의 동적 트레이드오프를 구현할 수 있는가?
• RQ2 증가하는 해상도에서 잔차 오차를 예측함으로써 정확도를 희생시키지 않고 효율성을 어떻게 향상시킬 수 있는가?
• RQ3 특징 추출 및 비용 볼륨 구축과 같은 아키텍처 선택 사항이 속도-정확도 트레이드오프에 미치는 영향은 무엇인가?
• RQ4 경량 모델이 파라미터 수를 수개의 주기수만큼 줄였음에도 불구하고 표준 벤치마크에서 최신 기준 성능을 달성할 수 있는가?
• RQ5 anytime 추론 기능이 비-anytime 기준 모델 대비 지연 시간과 정확도 측면에서 어떻게 비교되는가?

주요 결과

• AnyNet은 1242×375 스테레오 이미지에 대해 NVIDIA Jetson TX2에서 10–35 FPS의 성능을 달성하였으며, 동일 하드웨어에서 PSMNet가 0.3 FPS 이하로 작동하는 것과 비교해 뚜렷한 우월성을 보였다.
• 모델은 가장 경쟁력 있는 기준 모델보다 파라미터 수를 두 배수 줄였으며, 자원 제약이 있는 장치에 적합하다.
• KITTI-2015에서 AnyNet은 최종 단계에서 3픽셀 오차율이 6.2%에 도달하여 최신 기준 성능을 충족하거나 초월하였다.
• 제거 실험 결과, U-Net 특징 추출기를 제거할 경우 첫 번째 단계에서 오차가 5.5%포인트 증가하여 저해상도 특징 품질 향상에 있어 그 중요성을 입증하였다.
• 잔차 예측을 직접 디스파리티 예측으로 대체할 경우 후속 단계에서 추론 시간이 6배 이상 증가하여 잔차 정교화 전략의 효율성을 확인하였다.
• 거리 기반 비용 볼륨 구축 방법은 PSMNet 방식보다 10% 빠르며, 더 나은 속도-정확도 트레이드오프를 보여주었다.