[논문 리뷰] EPINET: A Fully-Convolutional Neural Network Using Epipolar Geometry for Depth from Light Field Images

Changha Shin, Hae‐Gon Jeon외 3명|arXiv (Cornell University)|2018. 04. 06.

Advanced Vision and Imaging참고 문헌 7인용 수 17

한 줄 요약

EPINET는 빛장치 영상에서 에피포러 기하학을 활용하여 빠르고 정확한 깊이 추정을 가능하게 하는 완전 컨volution 신경망을 제안한다. 다중 스트림 아키텍처를 사용해 네 가지 각도 방향을 처리하고, 빛장치 특화 데이터 증강 기법을 적용함으로써 HCI 4D 빛장치 벤치마크에서 최상의 성능을 달성하여 정확도와 속도에서 모두 1위를 기록하였으며, 두 번째로 뛰어난 방법보다 85배 빠르게 작동하면서도 더 뛰어난 깊이 맵 품질을 확보하였다.

ABSTRACT

Light field cameras capture both the spatial and the angular properties of light rays in space. Due to its property, one can compute the depth from light fields in uncontrolled lighting environments, which is a big advantage over active sensing devices. Depth computed from light fields can be used for many applications including 3D modelling and refocusing. However, light field images from hand-held cameras have very narrow baselines with noise, making the depth estimation difficult. any approaches have been proposed to overcome these limitations for the light field depth estimation, but there is a clear trade-off between the accuracy and the speed in these methods. In this paper, we introduce a fast and accurate light field depth estimation method based on a fully-convolutional neural network. Our network is designed by considering the light field geometry and we also overcome the lack of training data by proposing light field specific data augmentation methods. We achieved the top rank in the HCI 4D Light Field Benchmark on most metrics, and we also demonstrate the effectiveness of the proposed method on real-world light-field images.

연구 동기 및 목표

• 좁은 기준거리와 노이즈가 많은 서브아퍼처 영상으로 인해 손으로 촬영한 빛장치 카메라에서 정확하고 효율적인 깊이 추정을 해결하기 위해.
• 빛장치 영상의 깊이 추정을 위한 딥러닝 모델 학습에서의 데이터 부족 문제를 해결하기 위해 빛장치 특화 데이터 증강 기법을 도입하기 위해.
• 에피포러 기하학을 명시적으로 통합하여 깊이 맵 품질과 공간 일관성을 향상시키는 완전 컨volution 신경망을 설계하기 위해.
• 성능과 계산 효율성의 상호 균형을 유지하면서도 고정확도와 실시간 추론 속도를 동시에 달성하기 위해 빛장치 영상의 깊이 추정에서의 성능과 효율성을 극대화하기 위해.

제안 방법

• 네 가지 각도 방향(수평, 수직, 두 대각선)의 서브아퍼처 영상에서 특징을 추출하기 위해 동일한 네 개의 병렬 처리 스트림을 사용함으로써 방향 불변성과 향상된 기하학적 추론을 달성한다.
• 네 스트림의 특징은 융합 네트워크를 통해 융합되어 깊이 예측에 적합한 고수준 표현을 생성한다.
• 완전 컨볼루션 아키텍처를 사용하여 전체 해상도 빛장치 입력에서 서브픽셀 정확도로 종단 간 효율적인 추론을 가능하게 한다.
• 빛장치 영상 특성에 맞게 특화된 새로운 데이터 증강 전략을 도입하여 시야 이동, 회전, 스케일링, 전치, 색상 왜곡 등을 포함하며, 훈련 데이터의 다양성과 모델의 강인성을 향상시킨다.
• 손실 함수를 비차이 정확도와 가장자리 보존에 최적화하여 빛장치 데이터셋에서 지도 학습을 통해 네트워크를 종단 간으로 훈련시킨다.
• 후처리 단계로 가중치가 부여된 중앙값 필터를 적용하여 실세계 데이터에서 흩어진 비차이 오류를 제거함으로써 최종 깊이 맵 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 완전 컨볼루션 신경망이 빛장치 영상의 깊이 추정 정확도 향상에 있어 에피포러 기하학을 효과적으로 활용할 수 있는가?
• RQ2 도메인 특화 데이터 증강 전략을 통해 빛장치 깊이 추정에서의 데이터 부족 문제를 어떻게 완화할 수 있는가?
• RQ3 각도 방향을 별도로 처리하는 다중 스트림 아키텍처가 깊이 맵 품질과 경계 선명도 향상에 얼마나 기여하는가?
• RQ4 제안된 방법이 기존 최적화 기반 및 딥러닝 기반 접근법을 능가하는 고정확도와 실시간 추론 속도를 동시에 달성하는가?

주요 결과

• EPINET은 HCI 4D 빛장치 벤치마크에서 악성 픽셀 비율, 평균 제곱 오차, 런타임을 포함한 대부분의 지표에서 최상위 순위를 기록하였다.
• 정확도에서 두 번째로 뛰어난 OBER-cross+ANP보다 85배 빠르게 작동하면서도 더 뛰어난 깊이 품질을 유지하였다.
• 다중 스트림 아키텍처 덕분에 방향 일致성에 기반한 물체 경계 감지 능력이 향상되어 비행기 날개나 장난감 머리 등에서 선명한 경계를 확보하였다.
• 제안된 데이터 증강 전략은 모델의 일반화 능력과 성능 향상에 크게 기여하였으며, 특히 공간적으로 변화하는 노이즈가 있는 Dots 시나리오와 같은 노이즈가 많은 환경에서 두드러진 효과를 보였다.
• Lytro Illum 카메라에서 촬영한 실세계 빛장치 영상에서 EPINET는 9×9 각도 해상도로 메트릭 스케일의 3차원 재구성을 높은 정밀도로 수행하였으며, 이는 이전 방법들에 비해 속도와 정확도 면에서 뛰어났다.
• 텍스처가 없는 영역나 반사성 표면 영역에서도 성능이 우수한 편이었으며, 이는 향후 광학적 또는 재질 사전 지식의 통합 여지가 있음을 시사한다.