[논문 리뷰] Learning Multi-modal Information for Robust Light Field Depth Estimation

Yongri Piao, Xinxin Ji외 2명|arXiv (Cornell University)|2021. 04. 13.

Advanced Vision and Imaging참고 문헌 44인용 수 5

한 줄 요약

이 논문은 초점 스택과 RGB 이미지를 공동으로 활용하여 강력한 라이트 필드 깊이 추정을 위한 다중 모odal 학습 프레임워크를 제안한다. 장거리 공간적 종속성을 포착하기 위해 컨텍스트 추론 유닛을 도입하고, 보완적인 특징을 효과적으로 통합하기 위해 주의력 유도형 크로스모달 융합 모듈을 설계하여, 두 개의 라이트 필드 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 모바일폰으로 촬영한 라이트 필드 데이터에도 잘 일반화됨을 보였다.

ABSTRACT

Light field data has been demonstrated to facilitate the depth estimation task. Most learning-based methods estimate the depth infor-mation from EPI or sub-aperture images, while less methods pay attention to the focal stack. Existing learning-based depth estimation methods from the focal stack lead to suboptimal performance because of the defocus blur. In this paper, we propose a multi-modal learning method for robust light field depth estimation. We first excavate the internal spatial correlation by designing a context reasoning unit which separately extracts comprehensive contextual information from the focal stack and RGB images. Then we integrate the contextual information by exploiting a attention-guide cross-modal fusion module. Extensive experiments demonstrate that our method achieves superior performance than existing representative methods on two light field datasets. Moreover, visual results on a mobile phone dataset show that our method can be widely used in daily life.

연구 동기 및 목표

• 기존의 초점 스택에만 의존하는 학습 기반 방법의 한계를 해결하기 위해, 교정 블러와 불완전한 깊이 신호로 인해 어려움을 겪는다.
• RGB 이미지의 고수준 구조적 정보를 깊이 민감한 초점 스택 데이터와 융합하여 깊이 추정의 강건성을 향상시킨다.
• 특히 얇거나 유사한 질감을 가진 물체가 있는 장면에서 국소적 깊이 모호성을 해결하기 위해 컨텍스트 추론을 강화한다.
• 다양한 모달리티의 특징을 적응적으로 융합할 수 있는 크로스모달 융합 기반 메커니즘을 개발하여, 초점 블러로 인한 세부 정보 손실를 보완한다.
• 실제 생활 환경에서의 실험적 적용 가능성을 입증하기 위해, 모바일폰 카메라로 촬영한 실제 라이트 필드 데이터에 대한 일반화 능력을 입증한다.

제안 방법

• 장거리 공간적 종속성을 모델링하기 위해 그래프 컨volution 기반의 컨텍스트 추론 유닛(CRU)을 설계하여, 초점 스택과 RGB 이미지 각각에서 종합적인 컨텍스트 특징을 추출한다.
• 크로스 잔여 연결을 사용하여 특징을 강화하고, 다이나믹 주의력 가중치를 학습하여 다중 모달 표현의 효과적인 융합을 달성하는 주의력 유도형 크로스모달 융합 모듈(CMFA)을 도입한다.
• 전체 네트워크를 엔드 투 엔드로 훈련하여 컨텍스트 특징 추출과 크로스모달 융합을 동시에 최적화하여 깊이 예측을 수행한다.
• 초점 블록 슬라이스를 입력으로 사용하여 교정 신호를 캡처하고, RGB 이미지를 통해 전역적 구조적 및 질감 정보를 활용한다.
• 훈련 안정성과 세부 정보 보존을 위해 스킵 연결과 잔여 학습을 적용한다.
• 일반화 성능 향상을 위해 다중 척도 감시를 사용하여 표준 깊이 회귀 손실(RMSE, 상대 오차 등)을 최적화한다.

실험 결과

연구 질문

• RQ1 초점 스택과 RGB 이미지를 조합하면, 초점 스택을 단독으로 사용할 때보다 깊이 추정의 강건성이 향상되는가?
• RQ2 컨텍스트 추론 유닛은 국소적 깊이 모호성을 해결하기 위해 얼마나 효과적으로 장거리 공간적 종속성을 모델링하는가?
• RQ3 주의력 유도형 융합 메커니즘은 전통적인 융합 전략보다 RGB와 초점 스택 특징 간의 보완 정보를 얼마나 효과적으로 활용하는가?
• RQ4 제안된 방법은 모바일폰 카메라로 촬영한 실제 세계의 저품질 라이트 필드 데이터에 잘 일반화되는가?
• RQ5 다중 모달 학습은 복잡한 장면에서 노이즈를 얼마나 줄이고 세부 정보를 얼마나 잘 유지하는가?

주요 결과

• 제안된 방법은 DUT-LFDD 및 LFSD 라이트 필드 데이터셋에서 모두 최신 기술 수준의 성능을 달성하여, 모든 평가 지표에서 기존 최고 성능 기술을 초월한다.
• DUT-LFDD 데이터셋에서 RMSE 0.3029, REL 0.1455, δ1 0.7859를 기록하여 DDFF(RMSE: 0.5282)와 EPINet(RMSE: 0.4974)를 크게 앞서나갔다.
• LFSD 데이터셋에서 RMSE 0.3167, REL 0.1426, δ1 0.7814를 달성하여 비딥러닝 기반 베이스라인과 VDFF* 및 PADMM*와 같은 딥러닝 방법을 모두 능가했다.
• 시각적 결과는 투명하거나 유사 질감을 가진 물체가 있는 도전적인 장면에서 세부 정보와 깊이 변화를 효과적으로 포착하고, 노이즈와 블러를 줄이는 데 성공했다.
• 모바일폰으로 촬영한 라이트 필드 데이터에 대해서도 잘 일반화되어 DDFF보다 더 세부 정보가 풍부한 깊이 맵을 생성함으로써, 일상 생활 환경에서의 실용적 적용 가능성을 입증했다.
• 제거 실험 결과, 컨텍스트 추론 유닛과 주의력 유도형 융합 모듈이 성능 향상에 크게 기여하며, 구성 요소를 순차적으로 추가할수록 점진적인 성능 향상이 이루어짐을 확인했다.