[논문 리뷰] Waterdrop Stereo

Shaodi You, Robby T. Tan외 3명|arXiv (Cornell University)|2016. 04. 04.

Advanced Vision and Imaging참고 문헌 26인용 수 8

한 줄 요약

이 논문은 유리에 부착된 여러 물방울을 자연스러운 펜트라스 렌즈로 활용하여 단일 이미지에서 스테레오 유사 깊이 인식을 가능하게 하는 새로운 깊이 추정 방법을 제안한다. 물방울의 볼록한 형상과 전반적 내부 반사 현상을 활용함으로써, 에너지 최소화를 통한 물방울 기하학 모델링과 뒤로 향하는 레이트레이싱을 적용하여 단일 이미지에서 정확한 깊이 추정과 이미지 재초점을 가능하게 한다.

ABSTRACT

This paper introduces depth estimation from water drops. The key idea is that a single water drop adhered to window glass is totally transparent and convex, and thus optically acts like a fisheye lens. If we have more than one water drop in a single image, then through each of them we can see the environment with different view points, similar to stereo. To realize this idea, we need to rectify every water drop imagery to make radially distorted planar surfaces look flat. For this rectification, we consider two physical properties of water drops: (1) A static water drop has constant volume, and its geometric convex shape is determined by the balance between the tension force and gravity. This implies that the 3D geometric shape can be obtained by minimizing the overall potential energy, which is the sum of the tension energy and the gravitational potential energy. (2) The imagery inside a water-drop is determined by the water-drop 3D shape and total reflection at the boundary. This total reflection generates a dark band commonly observed in any adherent water drops. Hence, once the 3D shape of water drops are recovered, we can rectify the water drop images through backward raytracing. Subsequently, we can compute depth using stereo. In addition to depth estimation, we can also apply image refocusing. Experiments on real images and a quantitative evaluation show the effectiveness of our proposed method. To our best knowledge, never before have adherent water drops been used to estimate depth.

연구 동기 및 목표

• 유리에 부착된 물방울을 스테레오 시각을 위한 자연스러운 깊이 감지 요소로 활용하는 것을 탐색한다.
• 물방울의 광학적 성질을 활용하여 단일 이미지에서 깊이를 추출하는 과제를 해결한다.
• 물방울의 3차원 기하학적 형상을 물리적 모델링을 통해 복원함으로써, 반사된 광선 경로를 뒤로 거꾸로 따라가 반사된 이미지를 평면적 시각으로 정규화하는 방법을 개발한다.
• 동일한 프레임워크를 기반으로 물방울 광학 특성을 활용하여 깊이 추정과 이미지 재초점을 동시에 구현한다.

제안 방법

• 일정 부피를 가정하고 표면 장력 에너지와 중력 위치 에너지의 합을 최소화하여 물방울의 3차원 형상을 모델링한다.
• 물-유리 인터페이스에서의 전반적 내부 반사를 이용해 어두운 밴드를 식별함으로써 3차원 형상 추정을 보다 정확히 제약한다.
• 복원된 물방울 기하학을 기반으로 복귀 레이트레이싱을 적용하여 정규화된 이미지 공간에서 3차원 세계로의 레이트레이싱을 수행한다.
• 복원된 3차원 형상을 기반으로 광선 경로를 뒤로 거꾸로 거꾸로 적용하여 각 물방울의 왜곡된 이미지를 평면적이고 왜곡되지 않은 평면 시각으로 정규화한다.
• 각 정규화된 물방울 이미지를 서로 다른 시점으로 간주하여 스테레오 깊이 계산을 수행한다.
• 정규화된 다중 시점 이미지를 기반으로 다양한 초점 평면을 시뮬레이션하여 이미지 재초점을 가능하게 한다.

실험 결과

연구 질문

• RQ1 유리에 부착된 물방울은 단일 이미지에서 깊이 추정을 가능하게 하는 자연스러운 펜트라스 렌즈로 활용될 수 있는가?
• RQ2 에너지 최소화의 물리 원리를 활용하여 물방울의 3차원 기하학적 형상을 얼마나 정확하게 복원할 수 있는가?
• RQ3 복원된 형상을 기반으로 한 뒤로 향하는 레이트레이싱은 물방울 이미지의 반사 왜곡을 어느 정도 효과적으로 교정할 수 있는가?
• RQ4 여러 개의 물방울을 서로 다른 시점으로 간주할 때 스테레오 깊이 추정을 효과적으로 수행할 수 있는가?
• RQ5 동일한 프레임워크가 깊이 추정 외에도 이미지 재초징을 지원할 수 있는가?

주요 결과

• 제안된 방법은 표면 장력 에너지와 중력 위치 에너지의 합을 최소화하여 물방울의 3차원 형상을 성공적으로 복원한다.
• 전반적 내부 반사에 의한 어두운 밴드가 일관되게 관측되며, 이는 형상 추정 정확도 향상에 기여한다.
• 뒤로 향하는 레이트레이싱을 통해 반사 왜곡된 물방울 이미지가 평면적 시각으로 효과적으로 정규화된다.
• 여러 개의 물방울을 서로 다른 시점으로 간주하여 스테레오 기반 깊이 추정이 수행되었으며, 정량적 결과를 통해 그 효과성이 입증되었다.
• 이 방법은 깊이 추정 외에도 이미지 재초징을 가능하게 하여, 깊이 추정을 넘어서는 프레임워크의 유연성을 보여준다.
• 실제 이미지에 대한 실험을 통해 본 방법의 실현 가능성과 효과성이 확인되었으며, 이는 물방울을 활용한 깊이 추정 분야에서의 기존 연구가 없는 분야임을 시사한다.