[논문 리뷰] Learning Intrinsic Image Decomposition from Watching the World

Zhengqi Li, Noah Snavely|arXiv (Cornell University)|2018. 04. 02.

Advanced Vision and Imaging참고 문헌 32인용 수 25

한 줄 요약

이 논문은 고정된 시점에서 조도가 변화하는 레이블이 없는 영상 시퀀스를 사용하여 CNN을 훈련시켜 반사율과 조명 예측을 프레임 간 일관성 있게 학습하는 자기지도 학습 방법을 제안한다. 훈련 중에 어떤 진짜 분해 데이터도 사용하지 않으며, IIW, SAW, MIT 내재 이미지 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하여, 합성 또는 실험실 기반 애너테이션을 사용하는 지도 학습 방법조차도 능가한다.

ABSTRACT

Single-view intrinsic image decomposition is a highly ill-posed problem, and so a promising approach is to learn from large amounts of data. However, it is difficult to collect ground truth training data at scale for intrinsic images. In this paper, we explore a different approach to learning intrinsic images: observing image sequences over time depicting the same scene under changing illumination, and learning single-view decompositions that are consistent with these changes. This approach allows us to learn without ground truth decompositions, and to instead exploit information available from multiple images when training. Our trained model can then be applied at test time to single views. We describe a new learning framework based on this idea, including new loss functions that can be efficiently evaluated over entire sequences. While prior learning-based methods achieve good performance on specific benchmarks, we show that our approach generalizes well to several diverse datasets, including MIT intrinsic images, Intrinsic Images in the Wild and Shading Annotations in the Wild.

연구 동기 및 목표

• 비용이 많이 들거나 제한된 진짜 애너테이션에 의존하지 않고 내재 이미지 분해를 학습하는 데 도전한다.
• 고정된 시점과 변화하는 조명 조건을 가진 영상 시퀀스의 시간적 일관성을 활용하여 훈련의 지도 신호로 삼는다.
• 실세계 환경, 특히 IIW, SAW, MIT와 같은 다양한 데이터셋에 잘 일반화되는 딥 러닝 프레임워크를 개발한다.
• 명시적인 애너테이션이 필요 없이도 다수의 프레임 간 일관성을 강제하는 새로운 순서 수준의 손실 함수를 설계한다.
• 영상 시퀀스에서 자기지도 학습이 완전히 지도 학습 방법과 경쟁하거나 슈퍼어리어하는 성능을 낼 수 있음을 입증한다.

제안 방법

• 시점은 고정되어 있지만 조도가 시간에 따라 변화하는 BigTime(BT) 데이터셋의 대규모 레이블 없는 영상 시퀀스를 사용해 CNN을 훈련시킨다.
• 모든 쌍에 대해 가중치가 부여된 최소 제곱 손실을 도입하여, 영상 시퀀스 내 모든 프레임 쌍 간 반사율과 조명 예측의 일관성을 강제한다.
• 예측된 반사율과 조명에 대해 공간적 및 시간적 차원에서의 조밀한 스페이오테미포럴 스무쓰니스 손실을 구현한다.
• 훈련 중에 순서 수준의 손실을 지도 신호로 사용하여, 반사율 또는 조명 레이블이 전혀 없는 상태에서 내재 이미지 분해를 학습할 수 있도록 한다.
• 추론 단계에서 훈련된 모델을 단일 이미지에 적용하여 피드포워드 전파를 통해 내재 이미지 분해(R, S)를 생성한다.
• 영상 시퀀스의 시간적 일관성을 약한 지도 신호로 활용하며, 최적화 기반의 사전 지식과 딥 러닝 추론 프레임워크를 결합한다.

실험 결과

연구 질문

• RQ1 레이블이 없는 영상 시퀀스에서 조도가 변화하는 조건에서, 진짜 분해 데이터 없이도 내재 이미지 분해를 효과적으로 학습할 수 있는가?
• RQ2 시간적 일관성을 기반으로 한 자기지도 학습 방법이 IIW, SAW, MIT와 같은 다양한 실세계 데이터셋에 얼마나 잘 일반화되는가?
• RQ3 시간에 걸쳐 내재 이미지 분해의 일관성을 강제하는 데 가장 효과적인 순서 수준의 손실 함수는 무엇인가?
• RQ4 애너테이션이 없는 영상에서 훈련된 모델이 합성 또는 실험실 기반 데이터셋에서 훈련된 지도 학습 모델보다 성능이 뛰어나거나 동등한가?
• RQ5 제안된 방법의 성능가 표준 벤치마크에서 최적화 기반 및 지도 학습 딥 러닝 방법과 비교해 어떻게 되는가?

주요 결과

• 제안된 방법은 IIW 및 SAW 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 평균 정밀도 측면에서 최고의 최적화 기반 방법 [5]를 초월한다.
• MIT 내재 이미지 데이터셋에서는 반사율에 대해 평균 제곱 오차(MSE)와 구조적 비유사 지수(DSSIM) 측면에서 DI [28] 및 Shi et al. [34]와 같은 지도 학습 CNN보다 우수한 성능을 보였으며, 조명 예측은 경쟁 수준을 유지한다.
• SAW 벤치마크에서 합성 데이터셋(Sintel, ShapeNet)에서 훈련된 네트워크보다 뚜렷하게 뛰어난 일반화 성능을 보이며, 실세계 환경에 대한 우수한 일반화 능력을 입증한다.
• 모든 쌍 손실과 스페이오테미포럴 스무쓰니스 손실을 모두 포함한 전체 손실 함수가, 개별 구성 요소를 제거한 변형보다 더 뛰어난 성능을 낸다.
• 모델은 데이터셋 간에 잘 일반화되어 있으며, 훈련 중에 IIW나 SAW의 애너테이션에 접근하거나 미세조정 없이도 강력한 성능을 달성한다.
• 정성적 결과는 물리적으로 타당한 분해를 보여주지만, 어두운 영역에서 대trast 손실이 관찰되기는 하나, 이는 수치 성능에 악영향을 주지 않는다.