[논문 리뷰] Leveraging Multi-view Image Sets for Unsupervised Intrinsic Image Decomposition and Highlight Separation

Renjiao Yi, Ping Tan외 1명|arXiv (Cornell University)|2019. 11. 17.

Image Enhancement Techniques참고 문헌 30인용 수 4

한 줄 요약

이 논문은 고객 제품 사진과 같은 다중 시점 실사 이미지를 사용하여 내재 이미지 분해 및 하이라이트 분리에 대한 비지도 딥러닝 방법을 제안한다. 이는 정렬 오차에 덜 민감한 색상 분포 기반 이미지 표현 방식과 하이라이트 및 그림자 간의 상호의존성을 활용하여 하이라이트와 그림자 분리를 향상시키는 대비 손실을 도입함으로써, 지도 학습이 필요한 레이블 없이도 두 작업 모두에서 최신 기준 성능을 달성한다.

ABSTRACT

We present an unsupervised approach for factorizing object appearance into highlight, shading, and albedo layers, trained by multi-view real images. To do so, we construct a multi-view dataset by collecting numerous customer product photos online, which exhibit large illumination variations that make them suitable for training of reflectance separation and can facilitate object-level decomposition. The main contribution of our approach is a proposed image representation based on local color distributions that allows training to be insensitive to the local misalignments of multi-view images. In addition, we present a new guidance cue for unsupervised training that exploits synergy between highlight separation and intrinsic image decomposition. Over a broad range of objects, our technique is shown to yield state-of-the-art results for both of these tasks.

연구 동기 및 목표

• 실제 다중 시점 이미지 세트를 사용하여 객체 이미지를 알베도, 그림자, 하이라이트 층으로 분해하는 비지도 방법을 개발하는 것.
• 고객 제품 사진과 같은 소스에서 유래한 정렬이 어려운 다중 시점 이미지에 대한 학습 과제를 해결하는 것. 이러한 이미지는 일반적이지만 정확한 정렬이 어렵다.
• 하이라이트 분리와 그림자 추정 간의 상호의존성을 모델링하여 내재 이미지 분해의 신뢰성을 향상시키는 것.
• 지상 진술 레이블이 필요 없이 하이라이트 분리 및 내재 이미지 분해 양쪽에서 최신 기준 성능을 달성하는 것.

제안 방법

• 큰 조명 변화가 수반되는 고객 제품 사진의 다중 시점 데이터셋을 사용하여 네트워크를 비지도 방식으로 학습하는 방법.
• 세부 위치 정보를 기각하는 局소 색상 분포 기반의 새로운 이미지 표현 방식을 도입하여 국소적 정렬 오차에 대한 강건성을 향상시킨다.
• 지역 색상 히스토그램을 비교하여 다중 시점 이미지 간 일관성을 강제하는 색상 분포 손실을 제안함으로써 정렬 오차에 대한 민감도를 감소시킨다.
• 하이라이트 서브넷을 포함하거나 제거한 경우에 계산된 그림자 추정 간의 대비 손실을 도입하여, 네트워크가 더 정확한 하이라이트 및 그림자 성분을 생성하도록 유도한다.
• 비지도 손실의 조합을 사용하여 엔드 투 엔드로 학습하고, 사전 학습 단계에서 소량의 합성 ShapeNet 데이터를 사용한 후 실제 데이터로 미세조정한다.
• 이미지 형성 모델 $I_d = A \cdot S$ 를 사용하여 하이라이트, 그림자, 알베도 층을 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 정렬이 어려운 고객 제품 사진과 같은 비정형 소스에서 유래한 다중 시점 실사 이미지를 사용하여 비지도 내재 이미지 분해 및 하이라이트 분리를 효과적으로 학습할 수 있는가?
• RQ2 실제 데이터에서 흔한 다중 시점 이미지 세트의 국소적 정렬 오차에 대해 학습을 어떻게 강건하게 만들 수 있는가?
• RQ3 하이라이트 분리와 내재 분해 간의 관계를 활용하여 두 작업을 동시에 향상시킬 수 있는가?
• RQ4 정렬 오차가 존재하는 상황에서 표준 픽셀 기반 손실 대비 색상 분포 기반 표현 방식의 성능 향상은 어느 정도인가?
• RQ5 하이라이트와 그림자 추정 간의 의존성을 활용하는 대비 손실이 전체 분해 품질 향상에 기여하는가?

주요 결과

• DiLiGenT 데이터셋에서 제안된 방법은 가장 낮은 그림자 MSE (0.0041) 와 DSSIM (0.0316) 를 기록하여 SIRFS, DI, Shi et al., Li et al., CG 를 모두 능가했다.
• ShapeNet Intrinsic Dataset 에서는 MSE 와 DSSIM 양쪽 모두에서 최신 기준 성능을 달성하였으며, 비지도 미세조정과 색상 분포 손실 덕분에 상당한 향상이 있었다.
• 제거 실험 결과, 대비 손실을 제거할 경우 도색 층이 전부 0이 되는 열화된 해를 보였으며, 이는 대비 손실이 네트워크 안정성에 핵심적인 역할을 한다는 것을 확인했다.
• 색상 분포 손실은 픽셀 기반 저질서 손실 대비 성능을 5–48% 향상시켰으며, 특히 표면 형태를 더 잘 포착하는 그림자 추정에서 두드러진 성과를 보였다.
• ShapeNet 데이터셋의 1.1% 에서만 미세조정되었음에도 불구하고, 합성 이미지에 잘 일반화되었고, 더 큰 합성 데이터 분할로 학습된 기존 방법들을 능가했다.
• 실사 이미지에 대한 정성적 결과 분석에서, 엔드 투 엔드 시스템이 이전 방법들보다 더 선명한 알베도 지도와 풍부한 질감 세부 정보를 생성했다.