[논문 리뷰] Image and Depth from a Single Defocused Image Using Coded Aperture Photography

Mina Masoudifar, Hamid Reza Pourreza|arXiv (Cornell University)|2016. 03. 13.

Image Processing Techniques and Applications참고 문헌 30인용 수 3

한 줄 요약

이 논문은 한 개의 비대칭 코딩 야광 패턴을 제안하여 한 개의 초점이 흐린 이미지에서 동시에 깊이 추정과 이미지 흐림 제거를 가능하게 한다. 조명 및 시스템 제약 조건을 고려한 다목적 목적 함수를 최적화하여, 이미지 품질 평가 기법을 활용해 초점 전후의 흐림을 구분함으로써, 시뮬레이션과 실제 실험에서 이전의 코딩 야광 설계 대비 향상된 깊이 정확도와 더 선명한 복원 결과를 달성한다.

ABSTRACT

Depth from defocus and defocus deblurring from a single image are two challenging problems that are derived from the finite depth of field in conventional cameras. Coded aperture imaging is one of the techniques that is used for improving the results of these two problems. Up to now, different methods have been proposed for improving the results of either defocus deblurring or depth estimation. In this paper, a multi-objective function is proposed for evaluating and designing aperture patterns with the aim of improving the results of both depth from defocus and defocus deblurring. Pattern evaluation is performed by considering the scene illumination condition and camera system specification. Based on the proposed criteria, a single asymmetric pattern is designed that is used for restoring a sharp image and a depth map from a single input. Since the designed pattern is asymmetric, defocus objects on the two sides of the focal plane can be distinguished. Depth estimation is performed by using a new algorithm, which is based on image quality assessment criteria and can distinguish between blurred objects lying in front or behind the focal plane. Extensive simulations as well as experiments on a variety of real scenes are conducted to compare our aperture with previously proposed ones.

연구 동기 및 목표

• 유한한 초점 깊이를 가진 전통적인 카메라의 한계를 해결하기 위해 단일의 초점이 흐린 이미지에서 동시에 깊이 추정과 이미지 흐림 제거를 가능하게 하기 위해.
• 깊이에서의 초점과 초점 흐림 제거 성능을 향상시키는 최적화된 코딩 야광 패턴을 설계하기 위해.
• 이전의 야광 패턴의 대칭성 한계를 극복하기 위해 초점 평면의 양쪽에 있는 흐림을 구분할 수 있도록 비대칭 설계를 도입하기 위해.
• 초점 평면 앞뒤에 있는 물체를 구분하기 위해 이미지 품질 평가 기준에 기반한 깊이 추정 알고리즘을 개발하기 위해.
• 시뮬레이션과 실제 실험을 통해 다양한 환경 조명 및 카메라 시스템 조건에서 제안된 방법을 평가하기 위해.

제안 방법

• 깊이 추정 정확도와 이미지 흐림 제거 품질의 균형을 고려하여 야광 패턴을 평가하고 설계하기 위한 다목적 목적 함수를 수립한다.
• 장면 조도 및 카메라 시스템 사양을 고려하여 성능을 최대화할 수 있도록 야광 패턴을 최적화한다.
• 초점 평면 앞뒤에 있는 물체에 대해 별개의 점 확산 함수(PSF)를 생성하기 위해 비대칭 코딩 야광을 설계한다.
• 이미지 품질 지표를 활용해 흐림 특성을 분석하고 초점 평면에 대한 깊이 순서를 결정하는 새로운 깊이 추정 알고리즘을 개발한다.
• 비대칭 PSF 응답을 활용해 깊이를 해석할 수 있도록 하여 단일 이미지에서 정확한 깊이 맵 복원을 가능하게 한다.
• 다양한 장면에서의 광범위한 시뮬레이션과 실제 실험을 통해 제안된 방법을 검증하였으며, 기존의 코딩 야광 기법과의 성능 비교를 수행하였다.

실험 결과

연구 질문

• RQ1 한 개의 코딩 야광 패턴을 설계하여 깊이에서의 초점과 초점 흐림 제거 성능을 동시에 향상시킬 수 있는가?
• RQ2 비대칭 야광 패턴은 초점 평면 앞뒤에 있는 물체를 어떻게 더 잘 구분할 수 있게 하는가?
• RQ3 이미지 품질 평가 기준이 흐린 이미지에서의 깊이 추정 정확도를 얼마나 향상시킬 수 있는가?
• RQ4 제안된 방법은 기존 접근 방식 대비 다양한 조도 및 카메라 시스템 조건에서 어떻게 성능을 발휘하는가?
• RQ5 제안된 코딩 야광 설계로 인해 얻어진 깊이 정확도 및 이미지 선명도의 정량적 향상 수준은 어떠한가?

주요 결과

• 제안된 비대칭 코딩 야광는 초점 평면 앞뒤에 있는 물체를 명확히 구분할 수 있도록 하여 깊이 추정 정확도를 크게 향상시킨다.
• 시뮬레이션과 실제 실험 모두에서 기존의 코딩 야광 기법 대비 뛰어난 이미지 흐림 제거 성능을 달성한다.
• 다양한 장면 및 시스템 조건에서 깊이 추정과 흐림 제거 목표를 균형 있게 달성하는 데 성공한 다목적 최적화 프레임워크를 제공한다.
• 이미지 품질 평가 기반의 깊이 추정 알고리즘은 흐림 특성을 효과적으로 구분하여 단일의 초점이 흐린 이미지에서 정확한 깊이 맵을 생성한다.
• 광범위한 평가 결과, 제안된 방법은 이전에 발표된 코딩 야광 설계 대비 깊이 정확도 및 이미지 복원 품질 측면에서 뛰어난 성능을 보인다.
• 다양한 실제 장면과 조도 조건에서 안정적인 성능을 보이며, 단일 이미지 기반의 깊이 및 흐림 제거 복원의 실용적 타당성을 입증한다.