[논문 리뷰] Automatic Layer Separation using Light Field Imaging

Qiaosong Wang, Haiting Lin외 3명|arXiv (Cornell University)|2015. 06. 15.

Advanced Vision and Imaging참고 문헌 14인용 수 13

한 줄 요약

이 논문은 반사 또는 반투명 성질을 가진 시점에서 빛장 영상 기반 단일 촬영 방식으로 자동 레이어 분리 기법을 제안한다. 빛장 영상의 시야로부터 형성된 왜곡된 이미지 스택에 강건한 주성분 분석(RPCA)을 적용하여, 투과 및 보조 레이어를 동시에 분리하고 깊이를 추정함으로써, 사용자 입력이나 다중 노출이 없이도 정적 및 동적 시점 모두에서 강인한 성능을 달성한다.

ABSTRACT

We propose a novel approach that jointly removes reflection or translucent layer from a scene and estimates scene depth. The input data are captured via light field imaging. The problem is couched as minimizing the rank of the transmitted scene layer via Robust Principle Component Analysis (RPCA). We also impose regularization based on piecewise smoothness, gradient sparsity, and layer independence to simultaneously recover 3D geometry of the transmitted layer. Experimental results on synthetic and real data show that our technique is robust and reliable, and can handle a broad range of layer separation problems.

연구 동기 및 목표

• 기존에 다중 이미지나 사용자 입력이 필요로 하는 단일 이미지에서 반사 또는 반투명 레이어를 분리하는 불안정한 문제를 해결하기 위해.
• 다중 촬영이나 사용자 조절 사전 지식 없이도 빛장 영상 기반으로 자동 단일 촬영 레이어 분리를 가능하게 하기 위해.
• 이심도 맵 기반으로 왜곡된 이미지 스택의 낮은 랭크 구조를 활용하여 장면 깊이를 동시에 추정하고 레이어를 분리하기 위해.
• 기존의 다중 시점 방법으로는 이행이 어려웠던 동적 시점까지 처리 가능하도록 휴대용 빛장 카메라 어레이를 사용하기 위해.
• SIFT 플로우를 통한 初기 깊이 추정과 반복적인 RPCA 기반 정밀 조정을 융합하여 이전 방법에 비해 강인성과 정확도를 향상시키기 위해.

제안 방법

• 휴대용 $3\times3$ 카메라 어레이를 사용해 빛장을 촬영하며, 중심 시점을 기준으로 삼는다.
• 다중 시점 빛장 데이터를 정렬하기 위해 SIFT 플로우를 사용해 초기 이심도 맵을 추정한다.
• 이심도 맵을 활용해 모든 빛장 시점을 기준 시점에 왜곡하여 2차원 이미지 스택을 형성한다.
• 투과 레이어의 왜곡된 스택은 낮은 랭크일 것으로 기대되며, 보조 레이어(예: 반사)는 흩어져 있고 비구조적인 특성을 띤다. 이러한 구조는 강건한 주성분 분석(RPCA) 분해를 가능하게 한다.
• RPCA 기반 반복 최적화를 통해 레이어를 분리하고 동시에 이심도 맵을 정밀 조정한다.
• 기하학적 및 광학적 일致성을 향상시키기 위해 조각별 평탄성, 기울기 희박성, 레이어 독립성 등의 추가 정규화 조건을 적용한다.

실험 결과

연구 질문

• RQ1 빛장 영상 기반으로 사용자 입력이나 다중 노출 없이도 단일 촬영으로 자동 레이어 분리를 가능하게 할 수 있는가?
• RQ2 왜곡된 빛장 영상 스택의 낮은 랭크 구조를 효과적으로 활용하여 동시에 레이어 분리와 깊이 추정을 수행할 수 있는가?
• RQ3 기존의 다중 시점 방법에 비해 움직이는 반사가 있는 동적 시점에서의 성능은 어떠한가?
• RQ4 투과 레이어의 지배성이 초기 이심도 추정 및 레이어 분리 정확도에 미치는 영향은 무엇인가?
• RQ5 심도 가이드드 리포커싱 등의 후속 응용에 적합한 고품질 심도 맵을 생성할 수 있는가?

주요 결과

• 논문의 방법은 합성 및 실제 정적 시점에서 강인한 레이어 분리를 달성하여 반사 및 반투명성을 성공적으로 제거하면서도 미세한 질감과 기하학적 세부 정보를 유지한다.
• 심도 기반 리포커싱과 같은 고급 이미지 기반 렌더링 효과를 가능하게 하는 고품질 심도 맵을 생성하였으며, 그 결과는 그림 7에서 확인할 수 있다.
• 기존 유사 방법이 달성하지 못했던, 투과 레이어와 보조 레이어에 모두 움직이는 물체가 포함된 동적 시점까지도 성공적으로 처리한다.
• 혼합 매개변수 $\alpha \leq 25\%$ 일 경우, 두 레이어 모두에서 잘못 복원된 픽셀 수가 5% 미만으로 매우 높은 재구성 정확도를 확보한다.
• $\alpha > 35\%$ 일 경우 성능이著しく 떨어지며, $\alpha > 50\%$ 일 경우 완전히 실패함을 보여주어 투과 레이어의 지배성이 강한 조건에 크게 의존함을 시사한다.
• 640\times 480 크기의 빛장 영상 프레임(9개 시점) 처리에 약 7분이 소요되며, 레이어 분리 및 심도 추정의 복잡성 고려 시 경쟁 가능한 성능이다.