[논문 리뷰] VommaNet: an End-to-End Network for Disparity Estimation from Reflective and Texture-less Light Field Images

Haoxin Ma, Haotian Li외 3명|arXiv (Cornell University)|2018. 11. 17.

Advanced Vision and Imaging인용 수 7

한 줄 요약

VommaNet는 다중 척도 특징과 어ponse 컨볼루션을 통해 특징 피라미드를 활용하여 반사성 및 무문자 영역에서의 디스parity 추정을 향상시키기 위해 설계된 엔드 투 엔드 딥러닝 네트워크이다. HCI 4D 라이트필드 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하여 비교된 방법들 중에서 가장 낮은 평균 제곱 오차(MSE)인 2.218 × 10⁻²를 기록하였다.

ABSTRACT

The precise combination of image sensor and micro-lens array enables lenslet light field cameras to record both angular and spatial information of incoming light, therefore, one can calculate disparity and depth from light field images. In turn, 3D models of the recorded objects can be recovered, which is a great advantage over other imaging system. However, reflective and texture-less areas in light field images have complicated conditions, making it hard to correctly calculate disparity with existing algorithms. To tackle this problem, we introduce a novel end-to-end network VommaNet to retrieve multi-scale features from reflective and texture-less regions for accurate disparity estimation. Meanwhile, our network has achieved similar or better performance in other regions for both synthetic light field images and real-world data compared to the state-of-the-art algorithms. Currently, we achieve the best score for mean squared error (MSE) on HCI 4D Light Field Benchmark.

연구 동기 및 목표

• 기존 알고리즘으로서는 여전히 어려움을 겪는 라이트필드 영상의 반사성 및 무문자 영역에서의 정확한 디스파리티 추정 문제를 해결하기 위해.
• 일반 영역뿐 아니라 반사성 및 무문자 영역을 포함한 모든 영역에서 높은 정확도를 유지하는 엔드 투 엔드 딥러닝 모델을 개발하기 위해.
• 다중 척도 어ponse 컨볼루션을 통해 수용 영역을 확장하여 저문자 및 고반사 영역의 특징 표현을 향상시키기 위해.
• 딥수기 분리 컨볼루션과 배치 정규화를 통해 계산 비용을 줄이면서도 성능을 유지하기 위해.
• 최신 기술 수준의 방법들과 비교하여 합성 및 실제 라이트필드 데이터 모두에서 뛰어난 성능을 달성하기 위해.

제안 방법

• 렌슬릿 라이트필드 카메라에서의 각도 및 공간 정보를 최대한 활용하기 위해, 네트워크는 모든 서브아파처 이미지(SAIs)를 입력으로 사용한다.
• 초기 레이어에서 다중 비율의 어ponse 컨볼루션을 사용하여 다중 척도 특징 피라미드를 구축하고, 반사성 및 무문자 영역에서의 더 나은 문맥 모델링을 위해 수용 영역을 확장한다.
• 파rameter 수와 계산 부담을 줄이기 위해 딥수기 분리 컨볼루션과 배치 정규화를 활용한다.
• 디프맵 정확도 및 에지 선명도 향상을 위해 평균 절대 오차(MAE), 기울기 손실, 노말 일致성 손실을 조합한 다중 작업 손실 함수를 사용한다.
• 손실 함수는 다음과 같이 정의된다: $\text{loss} = \lambda_1 l_{\text{MAE}} + \lambda_2 l_{\text{grad}} + \lambda_3 l_{\text{normal}}$, $\lambda_1 = \lambda_2 = \lambda_3 = 1$.
• 제한된 훈련 데이터를 고려하여 일반화 능력을 향상시키기 위해 플립, 색상 반전, 자르기 등의 데이터 증강 기법을 적용한다.

실험 결과

연구 질문

• RQ1 기존 방법이 실패하는 반사성 및 무문자 라이트필드 영역에서 딥러닝 모델이 견고한 디스파리티 추정을 달성할 수 있는가?
• RQ2 저문자 및 고반사 영역에서 디스파리티 예측을 향상시키기 위해 다중 척도 문맥적 특징을 효과적으로 캡처할 수 있는가?
• RQ3 엔드 투 엔드 네트워크가 합성 및 실제 라이트필드 데이터 모두에서 최신 기술 수준의 방법들과 경쟁하거나 승승을 거두는가?
• RQ4 입력 서브아파처 이미지 수의 영향은 무엇이며, 다양한 수의 입력 이미지에 대해 모델이 일반화 가능한가?
• RQ5 다중 작업 손실 함수의 조합이 디프맵 품질 및 에지 일관성에 어떤 영향을 미치는가?

주요 결과

• VommaNet은 HCI 4D 라이트필드 벤치마크에서 비교된 방법들 중에서 가장 낮은 평균 제곱 오차(MSE)인 2.218 × 10⁻²를 기록하였다. 이는 [36] (3.968 × 10⁻²) 및 [31] (2.521 × 10⁻²)를 초월한 성능이다.
• 합성 데이터에서 VommaNet은 기존 방법들과 비교해 병뚜껑 표면이나 의자 다리와 같은 반사성 및 무문자 영역에서 훨씬 더 정확한 디스파리티 맵을 생성한다.
• Lytro Illum 카메라로 촬영한 실제 라이트필드 데이터에서 VommaNet은 다른 방법들이 잘못된 값을 생성하는 머리 뒷면과 같은 반사 영역에서도 날카운 에지를 유지하며 매끄럽고 정확한 결과를 도출한다.
• 정확도 향상에도 불구하고 유사한 런타임(2.043초)을 기록하여 [31] (2.041초)와 유사한 효율성을 보이며, 빠른 추론을 유지한다.
• 입력 SAI 수가 증가할수록 성능이 향상되어 더 많은 각도 정보를 활용할 수 있음을 보여주며, 모델의 확장성과 유연성을 입증한다.
• 모델는 반사성 및 무문자 영역에서 뛰어난 성능을 보이지만, 세밀한 물체의 세부 사항이 흐릿해지는 경향이 있어, 나쁜 픽셀 지표가 높아지는 트레이드오프를 보인다.