[논문 리뷰] Unsupervised Learning for Intrinsic Image Decomposition from a Single Image

Yunfei Liu, Li Yu외 2명|arXiv (Cornell University)|2019. 11. 22.

Image Enhancement Techniques참고 문헌 38인용 수 6

한 줄 요약

이 논문은 레이블이 없는 데이터나 수작업으로 만든 사전 지식에 의존하지 않고, 쌍이 맞지 않은 서로 관련이 없는 자연 이미지에서 반사율과 조명을 학습하는 새로운 비지도 단일 이미지 내재 이미지 분해 프레임워크를 제안한다. 물리적 일관성, 도메인 불변 콘텐츠, 반사율-조명 독립성의 조건을 강제 적용함으로써, 다양한 벤치마크에서 최신 기술을 초월하는 성능을 달성하며, 기존의 비지도 방법을 능가하고 지도 학습 방법과도 맞먹는 성능을 보인다.

ABSTRACT

Intrinsic image decomposition, which is an essential task in computer vision, aims to infer the reflectance and shading of the scene. It is challenging since it needs to separate one image into two components. To tackle this, conventional methods introduce various priors to constrain the solution, yet with limited performance. Meanwhile, the problem is typically solved by supervised learning methods, which is actually not an ideal solution since obtaining ground truth reflectance and shading for massive general natural scenes is challenging and even impossible. In this paper, we propose a novel unsupervised intrinsic image decomposition framework, which relies on neither labeled training data nor hand-crafted priors. Instead, it directly learns the latent feature of reflectance and shading from unsupervised and uncorrelated data. To enable this, we explore the independence between reflectance and shading, the domain invariant content constraint and the physical constraint. Extensive experiments on both synthetic and real image datasets demonstrate consistently superior performance of the proposed method.

연구 동기 및 목표

• 비용이 많이 들거나 현실적으로 구현하기 어려운 반사율과 조명의 진짜 값이 필요한 자연 이미지에서 내재 이미지 분해 문제를 해결한다.
• 실제 세계 일반화 능력이 제한된 합성 또는 수작업으로 주석이 달린 데이터셋에 의존하는 지도 학습 방법의 한계를 극복한다.
• 지도 학습 없이 쌍이 맞지 않은 서로 관련이 없는 자연 이미지 컬렉션을 활용해 내재 성분을 학습할 수 있는 완전히 비지도 프레임워크를 개발한다.
• 물리적 일관성, 도메인 불변 콘텐츠, 반사율-조명 독립성의 세 가지 핵심 물리적 제약 조건을 도입하고 강제 적용하여 비지도 학습을 이끌어낸다.

제안 방법

• 내재 분해를 콘텐츠를 유지하는 이미지 번역 작업으로 공식화하여, 자연 이미지를 반사율 도메인과 조명 도메인으로 변환하면서 기저 콘텐츠를 유지한다.
• 공유된 인코더 및 디코더 브랜치를 가진 조건부 생성 적대적 네트워크(cGAN)를 사용하여 반사율과 조명의 분리된 표현을 학습한다.
• 예측된 반사율과 조명의 곱이 입력 이미지를 재구성하도록 물리적 일관성 제약 조건을 통해 $ I = R(I) \bigodot S(I) $ 를 강제 적용한다.
• 기본적인 물체 레이아웃, 기하학적 구조 및 구조적 특성이 자연 이미지, 반사율, 조명 도메인 간에 유지되도록 도메인 불변 콘텐츠 제약 조건을 적용한다.
• 반사율을 조명에 불변으로 모델링하고 조명을 조명에 의존적으로 모델링하여 잠재 공간에서의 통계적 독립성을 활용함으로써 반사율-조명 독립성 제약 조건을 강제 적용한다.
• 공간적 및 색상 특성과 함께 학습된 공분산 행렬을 사용하여 반사율의 매끄러움 손실 $ R^{smooth} $ 를 통합한다.

실험 결과

연구 질문

• RQ1 반사율 또는 조명 데이터에 대한 레이블이 전혀 없는 상태에서 내재 이미지 분해를 완전히 비지도 방식으로 효과적으로 학습할 수 있는가?
• RQ2 반사율-조명 독립성 및 물리적 일관성과 같은 물리적 사전 지식을 지도 없이 딥 러닝 프레임워크에 통합할 수 있는가?
• RQ3 단일 이미지 비지도 방법이 실제 세계 벤치마크에서 지도 학습 방법과 비슷하거나 더 뛰어난 성능을 달성할 수 있는가?
• RQ4 자연 환경에서의 쌍이 맞지 않은 서로 관련이 없는 이미지 컬렉션이 내재 이미지 성분을 학습하는 데 얼마나 효과적인 대체 자료가 될 수 있는가?

주요 결과

• 제안된 방법은 MIT Intrinsic Dataset에서 비지도 방법 중 최고의 성능을 기록하였으며, 반사율과 조명의 평균에 대한 평균 MSE가 0.0146이었다.
• IIW 벤치마크에서 WHDR가 18.69%를 기록하여, 모든 다른 비지도 방법을 능가했으며, 지도 학습 최신 기술 방법의 성능에 근접했다.
• 정성적 비교에서 MUNIT, LS18, WH18에 비해 더 선명하고 정확한 반사율 및 조명 맵을 생성했으며, 특히 물체 경계와 질감 세부 정보를 잘 유지했다.
• 절단 실험 결과, 물리적 일관성, 도메인 불변 콘텐츠, 반사율-조명 독립성의 세 가지 제약 조건이 성능 향상에 필수적임을 확인했으며, 제약 조건을 생략할 경우 성능이 심각하게 저하됨을 보였다.
• 학습 중 진짜 값에 접근할 수 없음에도 불구하고, IIW 및 MIT 데이터셋에서 강력한 결과를 보여주어 실제 환경의 장면으로의 일반화 능력이 뛰어나다는 것을 입증했다.
• 반사율의 매끄러움 손실은 특히 점진적인 조명 변화가 있는 영역에서 반사율 맵의 시각적 품질을 크게 향상시키고 노이즈를 감소시켰다.