[논문 리뷰] Fast and Accurate Optical Flow based Depth Map Estimation from Light Fields

Yang Chen, Martin Alain외 1명|arXiv (Cornell University)|2020. 08. 11.

Advanced Vision and Imaging참고 문헌 27인용 수 33

한 줄 요약

이 논문은 CPM 초기화와 특징 흐름(spatio-angular filtering)을 사용하여 각도 차원을 따라 광유동을 적용하고, 조밀하고 일관된 시차 맵을 얻은 뒤 깊이로 변환하여 더 조밀한 3D 포인트 클라우드를 얻을 수 있는 광선 필드의 깊이 추정 방법을 제시한다.

ABSTRACT

Depth map estimation is a crucial task in computer vision, and new approaches have recently emerged taking advantage of light fields, as this new imaging modality captures much more information about the angular direction of light rays compared to common approaches based on stereoscopic images or multi-view. In this paper, we propose a novel depth estimation method from light fields based on existing optical flow estimation methods. The optical flow estimator is applied on a sequence of images taken along an angular dimension of the light field, which produces several disparity map estimates. Considering both accuracy and efficiency, we choose the feature flow method as our optical flow estimator. Thanks to its spatio-temporal edge-aware filtering properties, the different disparity map estimates that we obtain are very consistent, which allows a fast and simple aggregation step to create a single disparity map, which can then converted into a depth map. Since the disparity map estimates are consistent, we can also create a depth map from each disparity estimate, and then aggregate the different depth maps in the 3D space to create a single dense depth map.

연구 동기 및 목표

• 4D 광선 필드의 각도 정보를 활용한 깊이 지도 추정 동기화.
• 광선 필드의 각도 차원을 따라 빠르고 정확한 광류 기반 파이프라인 개발.
• 스파시오-각도 경계 인식 필터링으로 조밀하고 일관된 시차 추정치를 얻기 위한 대-세부 매칭(코스-투-파인) 보강.
• 여러 시차 맵을 모아 조밀한 깊이 맵이나 조밀한 3D 포인트 클라우드 생성.

제안 방법

• 하나의 각도 차원을 고정하고 뷰 시퀀스를 사용해 3D 스파시오-각도 부피를 추출한다.
• 연속 뷰 간의 광류 초기화를 위해 코스-투-파인 패치 매칭(CPM)을 사용한다.
• 에지 인지 스파시오-각도 필터(특징 흐름)를 적용해 각도 슬라이스를 따라 희소 매치를 조밀화하고 규칙화한다.
• 각도 뷰 전반에 걸친 시차 추정치를 단순 중앙값으로 집계한 뒤 한 차례의 변분 보정으로 최종 깊이 맵을 형성한다.
• 필요 시 여러 깊이 맵을 융합해 추가로 조밀한 3D 포인트 클라우드를 만든다.

실험 결과

연구 질문

• RQ1 각도 차원 광류가 광선 필드 깊이 추정을 위한 정확한 시차 추정치를 제공할 수 있는가?
• RQ2 CPM 초기화와 특징 흐름 필터링이 속도/정확도 트레이드오프에 유리한가?
• RQ3 각도 일관성 필터링이 깊이 맵 품질과 에지 보존에 미치는 영향은 무엇인가?
• RQ4 다수의 시차 추정치를 융합해 전역 최적화 없이도 더 조밀한 3D 포인트 클라우드를 생성할 수 있는가?

주요 결과

• 각도 스파시오-각도 특징 흐름 필터링은 초기 희소 매치보다 광류 정확도와 일관성을 크게 향상시킨다.
• CPM 초기화가 속도와 정확도 간의 균형에서 테스트된 초기화 중 최상의 성능을 제공한다.
• 각도 일관성으로 인한 단순 중앙값 집계와 한 차례의 변분 보정이 고품질의 최종 깊이 맵에 충분하다.
• 본 방법은 HCI 데이터셋에서 최첨단의 광선 필드 깊이 추정 방법들과 비교해 경쟁력 있는 정확도와 속도를 달성한다.
• 여러 깊이 추정을 3D 공간에서 모아 더 조밀한 포인트 클라우드를 생성할 수 있어 단일 깊이 맵의 밀도보다 경우에 따라 우수하다.
• 에지 보존 결과는 물체 경계 및 잡음이 많은 씬에서 우수하지만 지역 필터링은 전역 최적화보다 매끄럽지 않을 수 있다.