[논문 리뷰] Single image depth estimation by dilated deep residual convolutional neural network and soft-weight-sum inference

Bo Li, Yuchao Dai외 2명|arXiv (Cornell University)|2017. 04. 27.

Advanced Vision and Imaging참고 문헌 7인용 수 19

한 줄 요약

이 논문은 단일 이미지 깊이 추정을 위해 확장된 딥 리서지드 컨volution 네트워크와 소프트 웨이트 합 추론을 제안하며, NYU Depth V2 데이터셋에서 훨씬 적은 훈련 예제와 모델 파라미터로 최신 기술 수준의 성능을 달성한다. 이 방법은 큰 수신장 영역을 확보하기 위해 확장된 컨볼루션을 활용하고, 다중 척도 특징 융합과 경계 보존을 위해 스킵 커넥션을 사용하며, 부드럽고 경계를 유지하는 깊이 맵을 생성하기 위해 미분 가능한 소프트 웨이트 합 추론을 적용한다.

ABSTRACT

This paper proposes a new residual convolutional neural network (CNN) architecture for single image depth estimation. Compared with existing deep CNN based methods, our method achieves much better results with fewer training examples and model parameters. The advantages of our method come from the usage of dilated convolution, skip connection architecture and soft-weight-sum inference. Experimental evaluation on the NYU Depth V2 dataset shows that our method outperforms other state-of-the-art methods by a margin.

연구 동기 및 목표

• 딥 컨volution 네트워크 아키텍처 설계를 개선하여 단일 이미지 깊이 추정의 정의되지 않은 성질을 다루기.
• 성능을 유지하거나 향상시키면서 모델 복잡성과 훈련 데이터 요구량을 줄이기.
• 더 나은 특징 융합과 경계 보존을 통해 깊이 맵 품질 향상시키기.
• 경계 보존을 향상시키는 연속적인 깊이 예측을 가능하게 하는, 경계 이론보다 우수한 성능을 보이는 미분 가능한 추론 방법 개발하기.

제안 방법

• 완전 연결 층을 제거하여 152층의 리서지드 네트워크를 변형함으로써 파라미터를 80% 이상 감소시킴.
• 파라미터 수나 공간 해상도를 증가시키지 않고도 수신장 영역을 확장하기 위해 확장된 컨볼루션을 적용함.
• 고수준 및 중간 수준의 특징 맵을 연결하는 스킵 커넥션을 도입하여 다중 척도 특징 융합과 경계 보존을 달성함.
• 깊이를 로그 공간에서 200개의 박스로 이산화하여 깊이 추정을 분류 작업으로 재정의함.
• 훈련을 위해 다중항 로지스틱 손실과 소프트맥스를 적용하여 픽셀당 점수 분포를 생성함.
• 소프트 웨이트 합 추론을 사용함: 깊이 추정 $ d_i = \exp(\mathbf{w}^T \mathbf{p}_i) $, 여기서 $ \mathbf{p}_i $는 예측된 점수 벡터이고 $ \mathbf{w} $는 박스 가중치 벡터이며, 이는 이산 점수에서 연속적인 깊이 예측을 가능하게 함.

실험 결과

연구 질문

• RQ1 파라미터와 훈련 데이터를 줄인 확장된 리서지드 컨볼루션 네트워크 아키텍처가 뛰어난 깊이 추정 성능을 달성할 수 있는가?
• RQ2 특징 맵 간의 스킵 커넥션은 다중 척도 특징 융합과 경계 보존에 어떤 영향을 미치는가?
• RQ3 이산 점수 분포에서의 깊이 회귀에서 소프트 웨이트 합 추론이 하드 스위치보다 성능이 뛰어나게 되는가?
• RQ4 확장된 컨볼루션, 스킵 커넥션, 소프트 웨이트 합 추론이 최종 성능에 각각 얼마나 기여하는가?

주요 결과

• 제안된 방법은 NYU Depth V2 데이터셋에서 $ \delta < 1.25 $ 기준 83.5%의 정확도, $ \delta < 1.25^2 $ 기준 96.7%, $ \delta < 1.25^3 $ 기준 99.1%를 기록하여 모든 최신 기술 수준의 방법을 능가함.
• 상대 오차(Rel)는 0.125, log10 오차는 0.052, RMS 오차는 0.519로 이전 연구들보다 유의미하게 낮음.
• 단지 12,000장의 훈련 이미지와 60M 파라미터로도 240,000장의 이미지와 최대 350M 파라미터를 사용하는 방법들을 능가함.
• 성능 기여도 분석 결과, 세 가지 구성 요소—확장된 컨볼루션, 스킵 커넥션, 소프트 웨이트 합 추론—모두 성능 향상에 기여함.
• 정성적 결과는 소프트 웨이트 합 추론이 하드 스위치보다 더 부드럽고 뚜렷한 경계를 가진 깊이 맵을 생성함을 보여줌.
• 더 많은 박스 수(예: 1,000개)를 사용할수록 픽셀 단위 정확도가 크게 떨어지며(예: 7% 감소), 이는 수익 감소를 보여주고 소프트 웨이트 합 추론을 최적의 깊이 회귀에 사용하는 것이 타당함을 입증함.