[논문 리뷰] Varifocal Multiview Images: Capturing and Visual Tasks

Kejun Wu, Qiong Liu외 3명|arXiv (Cornell University)|2021. 11. 19.

Advanced Vision and Imaging참고 문헌 28인용 수 4

한 줄 요약

이 논문은 다양한 초점 평면에서 여러 시야를 촬영하여 동시에 유연한 시야각(FoV)과 유연한 초점 깊이(DoF)를 구현하는 새로운 영상 모델인 변초점 다시영역(VFMV) 영상을 소개한다. 각 시야를 서로 다른 깊이 평면에 초점 맞추기 때문에 VFMV 영상은 더 풍부한 초점 피크를 제공하여 3차원 장면 표현을 향상시킨다. 실험 결과 VFMV 영상은 기존의 다시영역 영상 대비 2,737개의 라이트 필드 특징을 검출했으며, 더 높은 품질의 3차원 재구성 결과를 도출하여 시각 작업에서 뛰어난 성능을 입증한다.

ABSTRACT

Multiview images have flexible field of view (FoV) but inflexible depth of field (DoF). To overcome the limitation of multiview images on visual tasks, in this paper, we present varifocal multiview (VFMV) images with flexible DoF. VFMV images are captured by focusing a scene on distinct depths by varying focal planes, and each view only focused on one single plane.Therefore, VFMV images contain more information in focal dimension than multiview images, and can provide a rich representation for 3D scene by considering both FoV and DoF. The characteristics of VFMV images are useful for visual tasks to achieve high quality scene representation. Two experiments are conducted to validate the advantages of VFMV images in 4D light field feature detection and 3D reconstruction. Experiment results show that VFMV images can detect more light field features and achieve higher reconstruction quality due to informative focus cues. This work demonstrates that VFMV images have definite advantages over multiview images in visual tasks.

연구 동기 및 목표

• 다시영역 영상가 유연한 FoV를 제공하지만 DoF가 유연하지 못한 점을 보완하기 위해, 다이뷰와 초점 스택의 장점을 융합한 새로운 영상 모델을 도입한다.
• 다양한 시야에서 초점 깊이(DoF) 정보를 통합함으로써 고해상도 3차원 장면 표현을 가능하게 한다.
• 다양한 초점 설정에서 유래한 풍부한 초점 피크를 활용하여 3차원 재구성 및 특징 검출과 같은 시각 작업의 성능을 향상시킨다.
• 기존 영상 시스템에서 신호 대 잡음비(SNR)와 DoF 사이의 상충 관계를 해결하기 위해, 각 시야에서 좁은 DoF를 유지하면서도 전체적으로 넓은 FoV를 확보할 수 있도록 한다.

제안 방법

• VFMV 영상의 촬영은 각 시야가 서로 다른 초점 평면에 맞춰지는 다중 카메라 어레이를 사용하며, 좁은 DoF 덕분에 각 시야의 이미지 품질이 높다.
• 시스템은 9×9의 각도 배열로 시야를 확보하며, 각 시야는 특정 깊이 평면에 최적화되어 전체 장면에서의 유연한 DoF를 가능하게 한다.
• 라이트 필드 특징 검출은 VFMV 및 다시영역 데이터 모두에 대해 LiFF 알고리즘을 사용하며, 파라미터로 피크 임계값 0.0015, 비모서리 임계값 10, -1에서 시작하는 4개의 옥타브, 각 옥타브당 3단계를 설정한다.
• 3차원 재구성은 두 개의 시야를 사용하여 구조적 운동(SfM) 방식으로 수행되며, SIFT 특징을 매칭하여 카메라 자세를 추정하고 3차원 점군을 재구성한다.
• VFMV 촬영 과정은 각 시야의 초점 평면을 동적으로 조정할 수 있도록 하여, 촬영 후 재초점 조절 및 개선된 깊이 표현을 가능하게 한다.
• 이 방법은 다시영역과 초점 스택 원리를 융합하여 넓은 FoV와 넓은 DoF를 동시에 지원하는 하이브리드 데이터 모델을 생성한다.

실험 결과

연구 질문

• RQ1 각 시야에서 서로 다른 초점 평면을 갖는 변초점 다이뷰 영상이 기존의 다시영역 영상에 비해 4차원 라이트 필드 특징 검출의 정보 량을 향상시키는가?
• RQ2 다양한 초점 평면에 걸친 초점 피크의 통합이 시각 작업에서 3차원 재구성 품질을 향상시키는가?
• RQ3 VFMV 영상의 유연한 DoF가 단일 초점 다이뷰 영상에 비해 재구성 아티팩트를 줄이고 완전성을 향상시키는 데 어느 정도 기여하는가?
• RQ4 VFMV 영상은 각 시야에서 깊이에 따라 초점을 조절할 수 있도록 하여 VR/AR에서의 적응-교정 갈등을 효과적으로 해결할 수 있는가?

주요 결과

• VFMV 영상은 기존의 다시영역 영상에서 검출한 1,218개의 특징에 비해 2,737개의 라이트 필드 특징을 검출하여 정보량이 훨씬 풍부함을 나타낸다.
• VFMV 영상에서 검출된 특징의 분포는 더 광범위하고 공간적으로 정확하여, 각 시야에서 명확한 초점 피크가 존재하기 때문으로 기인된다.
• VFMV 영상에서의 3차원 재구성 결과는 더 완전하고 일관성 있는 3차원 메시를 생성하며, 전체적인 구조가 명확한 반면, 다시영역 영상의 재구성 결과는 제한된 DoF로 인해 완전하지 못하다.
• VFMV 영상에서 재구성된 장면는 약간의 결함이 존재하지만 전체적으로 더 높은 품질을 보이며, 기하학적 일관성과 특징 매칭 향상에 초점 피크의 효과가 있음을 입증한다.
• 각 시야에서 서로 다른 초점 평면을 사용함으로써, 복잡한 깊이 변화를 보이는 장면에서 특징 검출 및 재구성의 정확도가 향상됨을 확인할 수 있다.
• 결과적으로 VFMV 영상가 고해상도 3차원 표현이 요구되는 시각 작업에서 표준 다시영역 영상보다 뛰어난 성능을 보임을 확인한다.