[논문 리뷰] Deep Hybrid Real and Synthetic Training for Intrinsic Decomposition

Sai Bi, Nima Khademi Kalantari외 1명|ArXiv.org|2018. 07. 30.

Advanced Vision and Imaging참고 문헌 25인용 수 19

한 줄 요약

이 논문은 시뮬레이션과 실제 이미지를 모두 사용하여 내재적 이미지 분해를 위한 하이브리드 딥 러닝 접근법을 제안한다. 이는 실제 이미지 쌍에서 얻은 조명에 불변하는 반사율을 활용하여 시뮬레이션에서 실제 환경으로의 도메인 갭을 메운다. 이 방법은 실제 이미지에서 최신 기술 성능을 달성하며, WHDR 및 si-MSE와 같은 정량적 지표와 시각적 품질 측면에서 시뮬레이션 전용 및 실제 데이터 전용 기준선을 모두 초월한다.

ABSTRACT

Intrinsic image decomposition is the process of separating the reflectance and shading layers of an image, which is a challenging and underdetermined problem. In this paper, we propose to systematically address this problem using a deep convolutional neural network (CNN). Although deep learning (DL) has been recently used to handle this application, the current DL methods train the network only on synthetic images as obtaining ground truth reflectance and shading for real images is difficult. Therefore, these methods fail to produce reasonable results on real images and often perform worse than the non-DL techniques. We overcome this limitation by proposing a novel hybrid approach to train our network on both synthetic and real images. Specifically, in addition to directly supervising the network using synthetic images, we train the network by enforcing it to produce the same reflectance for a pair of images of the same real-world scene with different illuminations. Furthermore, we improve the results by incorporating a bilateral solver layer into our system during both training and test stages. Experimental results show that our approach produces better results than the state-of-the-art DL and non-DL methods on various synthetic and real datasets both visually and numerically.

연구 동기 및 목표

• 딥 러닝 모델이 시뮬레이션 데이터로 훈련된 후 실제 이미지에서 성능이 저하되는 도메인 시프트 문제를 해결한다. 이는 분포 갭으로 인한 성능 저하 때문이다.
• 기존의 실제 데이터 기반 방법의 한계를 극복한다. 이는 IIW 데이터셋에서 상대적 반사율 비교만 제공하는 약한 지도 신호에 의존하기 때문이다.
• 네트워크에 통합된 엔드 투 엔드 훈련 가능한 이중 해상도 솔버 레이어를 통해 반사율 예측의 공간 일관성과 시각적 품질을 향상시킨다.
• 실제 이미지에 대한 진정한 반사율 지도 데이터가 필요 없이도, 시뮬레이션과 실제 데이터를 혼합하여 훈련함으로써 실제 환경에 대한 우수한 일반화 성능을 달성함을 입증한다.

제안 방법

• 시뮬레이션 이미지에서 진정한 반사율과 음영을 지도 신호로 사용하여 CNN을 훈련시킨다.
• 동일한 장면이 다른 조명 조건에서 촬영된 실제 이미지 쌍을 활용한 새로운 자기지도 손실을 도입하여, 동일한 반사율 예측을 강제한다.
• 훈련 및 추론 모두에서 공간 일관성을 향상시키기 위해 가역적인 이중 해상도 솔버 레이어를 네트워크에 통합한 학습 가능한 후처리 단계로 통합한다.
• 시뮬레이션 데이터에 대한 지도 손실과 실제 이미지 쌍에 대한 일관성 손실을 조합하여 전체 네트워크를 엔드 투 엔드로 최적화한다.
• 시뮬레이션 기반 벤치마크에서 성능을 검증하기 위해 스케일 불변 MSE(si-MSE) 및 국소 si-MSE를 평가 지표로 사용한다.
• 모든 데이터셋에 동일한 네트워크 아키텍처와 하이퍼파라미터를 사용하여 장면별 튜닝 없이 공정한 비교를 보장한다.

실험 결과

연구 질문

• RQ1 시뮬레이션 데이터로 훈련된 딥 컨볼루션 네트워크가 내재적 이미지 분해에서 실제 세계 이미지로 일반화되는가, 아니면 도메인 시프트로 인해 성능이 심각하게 저하되는가?
• RQ2 다양한 조명 조건에서 촬영된 실제 이미지 쌍이 진정한 지도 데이터 없이도 약한 지도 신호로 사용되어 일반화 성능을 향상시킬 수 있는가?
• RQ3 가역적인 이중 해상도 솔버 레이어 통합이 예측된 반사율 맵의 공간 일관성과 시각적 품질을 향상시키는가?
• RQ4 시뮬레이션과 실제 데이터를 혼합한 하이브리드 훈련 전략이 시뮬레이션 또는 실제 데이터 전용으로 훈련된 방법보다 우수한 성능을 내는가?
• RQ5 다양한 실제 및 시뮬레이션 데이터셋에서 제안된 방법이 수치적 및 시각적으로 최신 기술 기반의 학습 및 비학습 기반 접근법과 어떻게 비교되는가?

주요 결과

• 제안된 하이브리드 훈련 전략은 비교된 모든 방법 중 IIW 데이터셋에서 WHDR 점수 0.114를 기록하여 시뮬레이션 전용 기준선인 Narihira et al.(0.135) 및 Shi et al.(0.140)을 크게 뛰어넘었다.
• Sintel 시뮬레이션 데이터셋에서 반사율에 대해 si-MSE 2.02 × 10⁻², 음영에 대해 1.84 × 10⁻²를 기록하여 Narihira et al.(2.01 및 2.24) 및 모든 다른 방법을 초월했다.
• Bonneel 시뮬레이션 데이터셋에서 반사율에 대해 si-MSE 5.02 × 10⁻², 음영에 대해 6.61 × 10⁻²를 기록하여 Narihira et al. 및 Nestmeyer et al.를 포함한 모든 경쟁 방법을 압도했다.
• 시각적 비교 결과, 제안된 방법은 특히 복잡한 음영이 있는 장면에서 더 선명한 반사율 맵을 생성하며, 잡음과 아티팩트를 줄이고 텍스처 보존을 향상시켰다.
• 이중 해상도 솔버 레이어 통합은 공간 일관성을 크게 향상시켜 불연속성과 노이즈를 감소시키면서도 미세한 디테일을 유지했다.
• 진정한 지도 데이터 없이도 자기지도 기반 실제 데이터만을 사용했음에도 불구하고, 시뮬레이션 및 실제 기반 벤치마크에서 최신 기술 성능을 달성하여 강력한 일반화 능력을 입증했다.