[논문 리뷰] Self-Supervised Intrinsic Image Decomposition

Michael Jänner, Jiajun Wu외 3명|arXiv (Cornell University)|2017. 11. 10.

Advanced Vision and Imaging참고 문헌 20인용 수 67

한 줄 요약

논문은 Rendered Intrinsics Network (RIN)을 소개하는데, 이는 이미지를 반사율(reflectance), 형태(shape), 조명(lighting)으로 분해하고 재구성 손실이 있는 미분 가능한 셰이더를 활용하여 비라벨 데이터로부터 더 나은 고유 표현과 보이지 않는 범주로의 전이를 향상시키는 심층 자동인코더이다.

ABSTRACT

Intrinsic decomposition from a single image is a highly challenging task, due to its inherent ambiguity and the scarcity of training data. In contrast to traditional fully supervised learning approaches, in this paper we propose learning intrinsic image decomposition by explaining the input image. Our model, the Rendered Intrinsics Network (RIN), joins together an image decomposition pipeline, which predicts reflectance, shape, and lighting conditions given a single image, with a recombination function, a learned shading model used to recompose the original input based off of intrinsic image predictions. Our network can then use unsupervised reconstruction error as an additional signal to improve its intermediate representations. This allows large-scale unlabeled data to be useful during training, and also enables transferring learned knowledge to images of unseen object categories, lighting conditions, and shapes. Extensive experiments demonstrate that our method performs well on both intrinsic image decomposition and knowledge transfer.

연구 동기 및 목표

• 강건한 표현이 필요한 도전적이고 제약이 적은 문제로서의 고유 이미지 분해에 동기를 부여한다.
• 반사율, 형상, 조명을 구분하고 학습된 셰이더를 통해 입력을 재구성하는 깊은 구조적 자동인코더(RIN)를 제안한다.
• 재구성 손실을 통해 라벨이 없는 데이터로부터 학습을 가능하게 하여 중간 고유 표현을 개선한다.
• Ground-truth intrinsic images 없이도 학습된 표현을 보이지 않는 형상, 물체, 조명 분포로의 전이를 시연한다.
• 자가지도 전이가 셔더/미분 가능한 렌더링을 보존하면서 범주와 조건 간의 예측을 적응시킬 수 있음을 보인다.

제안 방법

• 공유 인코더와 반사율, 형상, 조명을 위한 세 개의 디코더를 갖춘 Rendered Intrinsics Network (RIN)을 도입한다.
• 고유 예측을 재구성하여 입력 이미지를 재현하는 미분 가능한 쉐이딩 함수를 도입한다.
• 고유 이미지 예측 네트워크와 쉐이딩 네트워크의 두 네트워크 구조를 사용하며, 선명한 출력을 위한 스킵 연결을 포함한다.
• 처음에는 지도 학습된 고유 이미지 레이블로 학습하고, 이후 재구성 손실을 활용해 라벨이 없는 데이터로 계속 학습한다(자가지도 전이).
• 레이블이 있는 데이터와 레이블이 없는 데이터 간의 불일치를 수용하기 위해 전이 중 디코더를 독립적으로 업데이트할 수 있게 한다.

실험 결과

연구 질문

• RQ1 깊은 모델이 반사율, 형상, 조명을 함께 예측하면서 입력을 정확히 재구성할 수 있는가?
• RQ2 미분 가능한 셰이더와 입력 재구성이 비라벨 데이터에서 유용한 감독 신호를 제공하는가?
• RQ3 자가지도(재구성 기반) 학습이 고유 표현을 개선하고 새로운 형상, 조명, 물체 카테고리로의 전이를 Ground-truth 고유 이미지 없이 가능하게 하는가?
• RQ4 RIN이 전이 작업에서 레이블이 있는 데이터와 없는 데이터 간의 불일치에 어느 정도까지 적응할 수 있는가?
• RQ5 교차 도메인 시나리오에서 전이 중 개별 디코더를 업데이트하는 것이 어떤 영향을 미치는가?

주요 결과

• RIN은 입력 재구성을 감독 신호로 사용해 중간 고유 예측을 개선하여 자가지도 전이를 가능하게 한다.
• 보이지 않는 물체에서의 형상 전이는 자가지도 업데이트 후 형상 예측이 최대 29% 개선된다(테스트된 형상의 평균).
• 조명 전이는 조명 예측에서 뚜렷한 개선을 보이며, 예를 들어 새로운 조명 분포에 적응한 후 조명 MSE가 18% 감소했다.
• 형상 간 카테고리 전이(차 vs 비행기)에서 쉐이딩 예측이 약 32% 정도 크게 향상되고 반사율은 약 21% 정도 개선된다.
• 학습 데이터가 합성 형상뿐이더라도 학습된 셰이더가 실제 물체에 일반화되며, 셰이더 매개변수를 고정하면 퇴행적 해를 방지한다.