[논문 리뷰] DeOccNet: Learning to See Through Foreground Occlusions in Light Fields

Yingqian Wang, Tianhao Wu외 4명|arXiv (Cornell University)|2019. 12. 10.

Advanced Vision and Imaging참고 문헌 37인용 수 6

한 줄 요약

DeOccNet은 다중 시점 간 상보적 정보를 활용하여 망막 없는 중심 시점 서브아포쳐 이미지를 복원함으로써, 빛장치 탈막재를 위한 딥러닝 기반의 첫 번째 방법이다. 잔차 아트로스 스페이셜 피라미드 풀링(ASPP)을 통합한 인코더-디코더 네트워크를 사용하며, 합성 및 실제 빛장치 데이터셋에서 최신 기술 수준의 성능을 달성하여 PSNR 및 SSIM 측면에서 이전 방법들을 크게 앞서며 성능을 높였다.

ABSTRACT

Background objects occluded in some views of a light field (LF) camera can be seen by other views. Consequently, occluded surfaces are possible to be reconstructed from LF images. In this paper, we handle the LF de-occlusion (LF-DeOcc) problem using a deep encoder-decoder network (namely, DeOccNet). In our method, sub-aperture images (SAIs) are first given to the encoder to incorporate both spatial and angular information. The encoded representations are then used by the decoder to render an occlusionfree center-view SAI. To the best of our knowledge, DeOccNet is the first deep learning-based LF-DeOcc method. To handle the insufficiency of training data, we propose an LF synthesis approach to embed selected occlusion masks into existing LF images. Besides, several synthetic and realworld LFs are developed for performance evaluation. Experimental results show that, after training on the generated data, our DeOccNet can effectively remove foreground occlusions and achieves superior performance as compared to other state-of-the-art methods. Source codes are available at: https://github.com/YingqianWang/DeOccNet.

연구 동기 및 목표

• 복잡한 시점 구조로 인해 기존 방법이 실패하는 상황에서, 딥러닝을 활용해 빛장치 내 막힘된 표면을 복원하는 데 도전한다.
• 제거 가능한 전경 막힘을 포함한 대규모 애너테이션된 빛장치 데이터셋의 부족 문제를 해결한다.
• 서브아포쳐 이미지 간 공간적 및 각도적 정보를 효과적으로 활용하여 막힘 뒤의 누락 영역을 추론하는 방법을 개발한다.
• 막힘 없는 중심 시점 이미지를 지도로 사용하여 엔드 투 엔드 학습을 가능하게 하여, 디스parity 기반의 막힘 탐지 및 제거를 학습할 수 있도록 한다.

제안 방법

• 네트워크는 모든 서브아포쳐 이미지(사용자 정의 이미지)를 채널 차원에 따라 연결하여 공간적 및 각도적 정보를 유지하는 인코더-디코더 아키텍처를 사용한다.
• 인코더에 잔차 아트로스 스페이셜 피라미드 풀링(ASPP) 모듈을 통합하여 다중 척도 특징을 추출하고, 다양한 형태와 크기의 막힘 처리를 위한 수용 영역을 확장한다.
• 인코더와 디코더 블록 간의 스킵 연결을 사용하여 다운샘플링 과정에서 손실된 고주파 및 저수준 세부 정보를 보존한다.
• 새로운 데이터 합성 방법을 통해 기존 빛장치 이미지에 실제 막힘 마스크를 삽입하여 학습을 위한 1,000개 이상의 합성 빛장치 이미지를 생성함으로써 데이터 부족 문제를 해결한다.
• 막힘 없는 중심 시점 서브아포쳐 이미지를 지도로 사용하여 엔드 투 엔드 학습을 수행함으로써, 디스파리티 차이를 기반으로 전경 막힘 탐지 및 제거를 학습할 수 있도록 한다.
• 단일 시점 사전 지식이 아닌 다중 시점 간의 디스파리티 차이에 기반함으로써, 기울어진 또는 구멍이 난 막힘을 포함한 새로운 시점에도 잘 일반화된다.

Figure 1: An illustration of LF-DeOcc using our rendered scenes Syn01 . (a) Configuration of the scene. Yellow boxes with $5\times 5$ blocks represent camera arrays. (b) Occluded center-view SAI. (c) Results of our DeOccNet . (d) Occlusion-free groundtruth.

실험 결과

연구 질문

• RQ1 다중 시점에서의 상보적 정보를 활용하여 딥러닝 모델이 빛장치 내 막힘된 표면을 효과적으로 복원할 수 있는가?
• RQ2 대규모 실세계 빛장치 데이터셋에서 제거 가능한 막힘이 포함된 경우, 깊은 네트워크를 효과적으로 학습할 수 있는가?
• RQ3 다중 척도 특징 추출 및 스킵 연결이 탈막재 빛장치 복원 품질에 얼마나 기여하는가?
• RQ4 합성된 울타리 형태의 막힘으로 학습된 네트워크가 복잡한 기울어진 또는 비정형 막힘을 가진 실세계 시점으로 일반화 가능한가?
• RQ5 디스파리티 차이의 사용이 빛장치 내 전경 막힘의 정확한 탐지 및 제거를 가능하게 하는가?

주요 결과

• 실세계 Bike01 시점에서 DeOccNet은 평균 PSNR 22.45 dB, SSIM 0.727을 기록하여 이전 방법들을 크게 앞서며 성능을 높였다.
• 제거 분석 결과, 잔차 ASPP 모듈을 제거하면 평균 PSNR가 3 dB 이상 감소하고 SSIM은 약 0.1 감소함을 확인하여, 수용 영역 확장에서의 핵심적 역할을 입증하였다.
• 외곽 스킵 연결이 평균 PSNR에 3.34 dB, 평균 SSIM에 0.14를 기여함을 통해 고주파 세부 정보 보존의 중요성을 입증하였다.
• 동일한 중심 시점 입력 조건에서도 DeOccNet이 복원에 실패함을 확인하여, 단일 이미지 인painting 메커니즘이 아닌 다중 시점 디스파리티 차이에 의존함을 확인하였다.
• 학습 시 펌프형 막힘(예: Bike01의 바구니)을 포함한 기울어진, 구멍이 난 막힘 시점에도 잘 일반화됨을 확인하였으며, 이는 학습 데이터에 전방 평행한 펌프형 마스크만 존재했음에도 불구하고 성능을 유지함을 의미한다.
• 고체 블록 막힘(예: Bike02의 오른쪽 아래 모서리)에서는 성능이 떨어짐을 확인하여, 배경이 모든 시점에서 막힐 경우의 한계를 드러내며, 병합된 시점 및 이웃 정보 사전 지식이 필요함을 시사한다.

Figure 2: An overview of our DeOccNet . (a) The overall architecture. (b) The structure of the residual ASPP module.