[논문 리뷰] Revisiting Deep Intrinsic Image Decompositions

Qingnan Fan, Jiaolong Yang외 3명|arXiv (Cornell University)|2017. 01. 11.

Image Enhancement Techniques인용 수 12

한 줄 요약

이 논문은 공통 핵심 네트워크와 유연한 데이터세트별 감독 레이어를 조합함으로써 MIT, MPI-Sintel, IIW 등 여러 벤치마크에서 최고 성능을 달성하는 통합 딥러닝 아키텍처를 제안한다. 이 방법은 엣지에 대한 가이던스 네트워크와 조각별로 일정한 알베도를 강제하는 1D 순환 도메인 필터를 활용한 미분 가능하고 엔드 투 엔드로 훈련 가능한 파이프라인을 통해 후처리 없이도 빠르고 고품질의 분해를 가능하게 한다.

ABSTRACT

While invaluable for many computer vision applications, decomposing a natural image into intrinsic reflectance and shading layers represents a challenging, underdetermined inverse problem. As opposed to strict reliance on conventional optimization or filtering solutions with strong prior assumptions, deep learning based approaches have also been proposed to compute intrinsic image decompositions when granted access to sufficient labeled training data. The downside is that current data sources are quite limited, and broadly speaking fall into one of two categories: either dense fully-labeled images in synthetic/narrow settings, or weakly-labeled data from relatively diverse natural scenes. In contrast to many previous learning-based approaches, which are often tailored to the structure of a particular dataset (and may not work well on others), we adopt core network structures that universally reflect loose prior knowledge regarding the intrinsic image formation process and can be largely shared across datasets. We then apply flexibly supervised loss layers that are customized for each source of ground truth labels. The resulting deep architecture achieves state-of-the-art results on all of the major intrinsic image benchmarks, and runs considerably faster than most at test time.

연구 동기 및 목표

• 강한 사전 지식이 필요한 애매하게 정의된 역문제로 간주되는 인트리닉스 이미지 분해 문제를 해결한다.
• 다양한 데이터 소스 간에 일반화되지 않는 데이터세트별 딥러닝 아키텍처의 한계를 극복한다.
• 다양한 감독 방식(밀도 있는 레이블 대비 쌍별 비교)을 가진 데이터세트 간에 일관된 구조를 유지하는 준일반적인 네트워크 아키텍처를 개발한다.
• 조각별 일정한 알베도와 부드러운 셰이딩과 같은 보편적 사전 지식을 네트워크 설계에 통합하여 일반화 성능을 향상시킨다.
• 최소한의 후처리와 높은 추론 속도를 확보하면서 다양한 실제 세계 및 시뮬레이션 데이터에 대해 엔드 투 엔드 훈련을 가능하게 한다.

제안 방법

• 조각별 일정한 알베도와 부드러운 셰이딩과 같은 인트리닉스 이미지 형성의 보편적 사전 지식을 반영하는 핵심 딥 네트워크 아키텍처를 설계한다.
• 주로 알베도 레이어에서 유도된 중요한 엣지를 예측하는 가이던스 네트워크를 도입하여 후속 보정을 안내한다.
• 가이던스 네트워크 출력을 활용해 알베도 예측이 조각별 일정한 해법으로 향하도록 이끄는 1D 순환 도메인 필터를 적용한다.
• 유연한 데이터세트별 손실 레이어를 사용한다: 밀도 있는 진짜 레이블(MIT, MPI-Sintel)에는 MSE를, 희박한 쌍별 비교(IIW)에는 수정된 허프 레이어를 사용한다.
• 모든 시스템을 데이터세트 간에 공유된 파rameter를 가진 직접 인트리닉스 및 가이던스 네트워크를 통해 엔드 투 엔드로 훈련한다.
• 합동 훈련 중 IIW 손실을 MPI-Sintel MSE 손실의 두 배 크기로 스케일링하여 이질적인 감독에서 기울기를 균형 잡는다.

실험 결과

연구 질문

• RQ1 다양한 감독 유형을 가진 여러 인트리닉스 이미지 벤치마크에서 동일한 딥 네트워크 아키텍처가 최고 성능을 달성할 수 있는가?
• RQ2 조각별 일정한 알베도와 같은 보편적 사전 지식을 딥 네트워크에 얼마나 효과적으로 통합할 수 있으며, 데이터세트별 튜닝 없이도 일반화 성능 향상에 기여하는가?
• RQ3 밀도 있는 레이블(MPI-Sintel)과 약한 레이블(IIW) 데이터를 함께 훈련하면, 훈련 세트에 포함되지 않은 실제 세계 영상에서 성능 향상이 이루어지는가?
• RQ4 특화된 모델이 개별 데이터세트에 대해 훈련된 경우에 비해 통합 아키텍처가 성능을 뛰어넘을 수 있는가, 특히 훈련 데이터가 제한된 경우에?
• RQ5 1D 순환 도메인 필터가 세밀한 디테일과 날카운 엣지를 유지하면서도 조각별 일정한 알베도를 얼마나 효과적으로 강제하는가?

주요 결과

• 제안된 방법은 MIT 인트리닉스 데이터셋에서 가장 낮은 MSE(0.0134)와 LMSE(0.0111)를 기록하여, 추가 훈련 데이터를 사용한 이전 딥러닝 방법들을 모두 능가한다.
• MPI-Sintel 벤치마크에서 모든 평가 지표에서 최고 성능을 기록하였으며, 경쟁 방법들보다 더 날카롭고 고품질의 출력을 제공한다.
• IIW와 MPI-Sintel 데이터를 함께 훈련한 결과, IIW에서 평균 WHDR가 15.80으로 상위 대부분의 이전 방법을 뛰어넘었으며, 실제 세계 영상에서의 강인성 향상을 입증하였다.
• 정성적 결과에서는 훈련 데이터에 포함되지 않은 새로운 실외 환경에서의 반사율 추정이 훨씬 더 현실감 있고 부드럽게 향상된 것으로 나타났다.
• 대부분의 기존 방법들보다 테스트 시점에서 훨씬 더 빠른 속도로 실행되어 후처리 없이도 효율적인 추론이 가능하다.
• 모듈러하고 민감한 감독 설계 덕분에 동일한 핵심 아키텍처가 최소한의 아키텍처 변경으로 다양한 데이터 소스에 효과적으로 적용될 수 있다.