[논문 리뷰] Deep Optics for Monocular Depth Estimation and 3D Object Detection

Julie Chang, Gordon Wetzstein|arXiv (Cornell University)|2019. 04. 18.

Advanced Vision and Imaging참고 문헌 48인용 수 17

한 줄 요약

이 논문은 단안 깊이 추정 및 3차원 객체 탐지에 대해 광학 설계와 신경망을 공동 최적화하는 '딥 옵티컬스(Deep Optics)'를 소개한다. 고도로 조절된 초점 불일치 블러와 색수차를 깊이 정보로 활용함으로써, 모든 초점이 맞춰진 이미지보다 깊이 정확도를 향상시킨다. 자유형 렌즈와 조절 가능한 단일 렌즈조차도 유의미한 성능 향상을 보이며, NYU Depth v2, KITTI 및 자체 구축 데이터셋에서 검증되었다. 특히 3차원 객체 탐지 성능 향상도 확인되었다.

ABSTRACT

Depth estimation and 3D object detection are critical for scene understanding but remain challenging to perform with a single image due to the loss of 3D information during image capture. Recent models using deep neural networks have improved monocular depth estimation performance, but there is still difficulty in predicting absolute depth and generalizing outside a standard dataset. Here we introduce the paradigm of deep optics, i.e. end-to-end design of optics and image processing, to the monocular depth estimation problem, using coded defocus blur as an additional depth cue to be decoded by a neural network. We evaluate several optical coding strategies along with an end-to-end optimization scheme for depth estimation on three datasets, including NYU Depth v2 and KITTI. We find an optimized freeform lens design yields the best results, but chromatic aberration from a singlet lens offers significantly improved performance as well. We build a physical prototype and validate that chromatic aberrations improve depth estimation on real-world results. In addition, we train object detection networks on the KITTI dataset and show that the lens optimized for depth estimation also results in improved 3D object detection performance.

연구 동기 및 목표

• 단안 깊이 추정의 불완전한 성질을 해결하기 위해 깊이 정보를 광학적으로 인코딩하는 전략을 도입한다.
• 광학 설계와 딥 러닝을 공동 최적화함으로써 깊이 추정 및 고수준 3차원 시각 작업의 성능 향상 여부를 조사한다.
• 종합적인 미분 가능 프레임워크 내에서 초점 불일치, 산란, 색수차, 자유형 렌즈 등의 다양한 광학 인코딩 전략의 상대적 성능을 평가한다.
• 최적화된 광학 설계를 통한 향상된 깊이 추정이 단순 깊이 회귀를 넘어서 3차원 객체 탐지와 같은 고수준 작업에 긍정적인 영향을 미치는지 검증한다.
• 간단한 렌즈가 내재된 색수차를 지닌 경우조차도 신경망과 공동 최적화 시 표준 모든 초점이 맞춰진 광학 설계를 초월할 수 있음을 보여준다.

제안 방법

• 고정 또는 최적화 가능한 렌즈 파rameter(초점 불일치, 산란, 색수차, 자유형 위상 마스크 포함)를 포함하는 미분 가능한 광학 이미지 형성 모델을 개발한다.
• 깊이 추정을 위해 이 모델을 합성곱 신경망(CNN)과 통합함으로써 광학적 요소와 전자적 요소를 모두 거쳐 역전파가 가능한 종단간 백프로파게이션을 가능하게 한다.
• 이중 최적화를 위해 재구성 손실을 사용하여 렌즈 기하학적 구조와 네트워크 가중치를 모두 기울기 기반 최적화한다.
• 모의 실험을 통해 NYU Depth v2, KITTI 및 자체 구축 데이터셋에서 다양한 광학 인코딩 전략(초점 불일치, 산란, 색수차, 자유형 렌즈)을 평가하며, 렌즈 파rameter는 기울기 하강법으로 최적화한다.
• 색수차를 지닌 단일 렌즈를 탑재한 물리적 프로토타입을 제작하고 실제 환경에서의 시험을 통해 모의 실험 결과를 검증한다.
• 3차원 객체 탐지에 대해, 최적화된 렌즈에서 생성된 깊이 맵을 사용하는 Frustrum PointNet(FPointNet)을 학습시키며, 진짜 LIDAR 데이터 대신 예측된 깊이를 사용한다.

실험 결과

연구 질문

• RQ1 초점 불일치 블러와 색수차와 같은 광학 인코딩 전략이 딥 신경망과 공동 최적화될 경우 단안 깊이 추정 성능 향상에 기여하는가?
• RQ2 고정된 설계(예: 색수차)와 최적화 가능한 설계(예: 자유형 렌즈) 간의 성능 비교는 어떻게 되는가?
• RQ3 최적화된 광학 설계를 통한 향상된 깊이 추정이 3차원 객체 탐지와 같은 고수준 3차원 시각 작업 성능 향상으로 이어지는가?
• RQ4 간단하고 저비용의 렌즈가 내재된 광학적 비틀림을 지닌 경우, 신경망과 공동 최적화 시 복잡한 모든 초점이 맞춰진 렌즈를 능가할 수 있는가?
• RQ5 미분 가능한 광학 이미지 형성 모델이 광학-전자 시스템의 종단간 학습을 효과적으로 가능하게 하는가?

주요 결과

• 최적화된 자유형 렌즈 설계가 모든 데이터셋에서 가장 뛰어난 깊이 추정 성능을 보였으며, 기준선인 모든 초점이 맞춰진 네트워크보다 낮은 루트 평균 제곱 오차(RMSE)를 기록했다.
• 놀랍게도 내재된 색수차를 지닌 표준 단일 렌즈가 자유형 렌즈와 거의 유사한 성능을 보였으며, 색수차가 매우 효과적인 깊이 정보로 기능할 수 있음을 시사했다.
• 물리적 프로토타입을 통해 실제 환경에서 색수차를 지닌 이미지가 모든 초점이 맞춰진 이미지보다 훨씬 뛰어난 깊이 추정 성능을 보였음을 검증했다.
• 최적화된 렌즈에서 생성된 깊이 맵을 사용할 경우 3차원 객체 탐지 성능이 향상되었으며, 더 나은 깊이 추정이 고수준 작업으로까지 영향을 미친다는 점을 입증했다.
• 모든 초점이 맞춰진 이미지를 사용하는 복잡한 네트워크보다 단순한 U-Net을 사용할 경우 더 낮은 RMSE를 기록했으며, 이는 광학 인코딩이 네트워크의 부담을 줄여준다는 것을 의미한다.
• 최적화된 이미지와 모든 초점이 맞춰진 이미지 간 2차원 객체 탐지 성능은 유사하게 유지되었으며, 이는 광학적 열화가 의미적 특징 추출에 영향을 주지 않는다는 것을 보여준다.