[논문 리뷰] Direct Intrinsics: Learning Albedo-Shading Decomposition by Convolutional Regression

Takuya Narihira, Michael Maire외 1명|arXiv (Cornell University)|2015. 12. 08.

Advanced Neural Network Applications인용 수 23

한 줄 요약

이 논문은 물리적 사전 지식이나 깊이 입력에 의존하지 않고 RGB 이미지에서 알베도와 셰이딩을 직접 회귀하는 딥러닝 접근법인 Direct Intrinsics를 제안한다. 다중 척도 완전 컨volution 신경망을 사용하며, 합성된 MPI Sintel 데이터로 훈련되어 실재 이미지와 합성 이미지 양쪽에서 최신 기술을 능가한다. 이는 강력한 일반화 능력과 복잡한 조명 및 재질에 대한 강건성을 보여준다.

ABSTRACT

We introduce a new approach to intrinsic image decomposition, the task of decomposing a single image into albedo and shading components. Our strategy, which we term direct intrinsics, is to learn a convolutional neural network (CNN) that directly predicts output albedo and shading channels from an input RGB image patch. Direct intrinsics is a departure from classical techniques for intrinsic image decomposition, which typically rely on physically-motivated priors and graph-based inference algorithms. The large-scale synthetic ground-truth of the MPI Sintel dataset plays a key role in training direct intrinsics. We demonstrate results on both the synthetic images of Sintel and the real images of the classic MIT intrinsic image dataset. On Sintel, direct intrinsics, using only RGB input, outperforms all prior work, including methods that rely on RGB+Depth input. Direct intrinsics also generalizes across modalities; it produces quite reasonable decompositions on the real images of the MIT dataset. Our results indicate that the marriage of CNNs with synthetic training data may be a powerful new technique for tackling classic problems in computer vision.

연구 동기 및 목표

• 기존 물리 기반 사전 지식과 그래프 기반 추론을 회피하는 데이터 기반 접근법을 개발한다.
• 딥 컨volution 회귀를 통해 RGB 이미지 패치에서 알베도와 셰이딩 예측을 엔드 투 엔드로 학습할 수 있도록 한다.
• 합성(Sintel) 및 실세계(MIT) 데이터셋에서의 성능 평가를 통해 도메인 간 일반화 능력을 평가한다.
• 실제 데이터로의 미세조정 없이도 합성 훈련 데이터로 실재 이미지에 대해 강건한 성능을 달성할 수 있는지 조사한다.
• 아키텍처 구성 요소와 훈련 전략(예: 드롭아웃, 기울기 손실, 디컨볼루션)이 분해 정확도 향상에 얼마나 기여하는지 비교 분석한다.

제안 방법

• 입력 RGB 패치에서 알베도와 셰이딩을 예측하기 위해 다중 척도 완전 컨볼루션 신경망(MSCR)을 사용하며, 군집에서 세분화까지의 아키텍처가 전반적인 맥락과 국소적 세부 정보를 모두 포착한다.
• 알베도와 셰이딩에 대한 L2 손실, 가장자리 유지에 기여하는 기울기 손실, 그리고 업샘플링을 위한 학습된 디컨볼루션 레이어를 조합하여 훈련한다.
• 일반화 능력 향상과 과적합 방지를 위해 무작위 컬러 컷팅 및 색상 왜곡을 적용한 데이터 증강 기법을 사용한다.
• 정규화를 위해 훈련 중 드롭아웃을 적용하여 네트워크의 강건성을 향상시킨다.
• 훈련을 보완하기 위해 재생산된 Sintel 데이터를 사용하며, 이는 알베도 추정 성능 향상에 기여하지만, Sintel 전용 조명 특성에 편향을 줄 위험이 있다.
• 실제 알베도와 셰이딩의 진짜 값을 3D 시cene 모델에서 유도한 합성 MPI Sintel 데이터만으로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 물리적 사전 지식과 깊이 입력에 의존하지 않는 순수 데이터 기반 엔드 투 엔드 딥러닝 접근법이 전통적 방법보다 인트리닉스 이미지 분해 성능을 뛰어나게 할 수 있는가?
• RQ2 합성 데이터로 훈련된 모델이 복잡한 조명과 재질을 가진 실세계 이미지로의 일반화 능력은 어느 정도인가?
• RQ3 드롭아웃, 기울기 손실, 디컨볼루션 등의 아키텍처 및 훈련 구성 요소 중 어떤 것이 인트리닉스 분해 작업의 성능 향상에 가장 기여하는가?
• RQ4 훈련 중 재생산된 Sintel 데이터의 포함 여부가 실재 이미지 성능 향상에 기여하는가, 아니면 도메인 특화 편향을 유발하는가?
• RQ5 실제 물리적 분해가 아닌 인간의 반사율 판단 기반 진짜값이 있는 IIW 데이터셋에서 모델의 성능은 어떠한가?

주요 결과

• Sintel 데이터셋에서 MSCR+dropout+GL 모델은 RGB+깊이를 사용한 모든 이전 방법보다 MSE 및 LMSE 지표에서 뛰어난 성능을 보였다.
• Sintel에서 알베도의 DSSIM은 0.878, 셰이딩의 DSSIM은 0.841을 기록했으며, DSSIM 기준으로도 Chen과 Koltun의 방법보다 셰이딩 DSSIM에서 0.0145 향상되었다. 이는 DSSIM 기반 훈련 없이도 달성된 성과이다.
• 장면 분할 평가(샘플 외 일반화)에서 모델은 강력한 성능 유지를 보였으며, 드롭아웃 및 데이터 증강과 같은 아키텍처 및 훈련 개선 요소마다 성능 향상이 관찰되었다.
• MIT 데이터만으로 훈련한 경우에도 모델은 실재 이미지에서 합리적인 분해 결과를 도출했으며, 재생산된 Sintel 데이터를 훈련에 혼합할수록 특히 알베도 추정 성능이 향상되었다.
• 학습된 디컨볼루션 레이어를 제거하면 뚜렷한 시각적 품질 저하가 발생하여, 이 레이어가 특징 재구성에 핵심적인 역할을 한다는 것을 확인했다.
• IIW 데이터셋에서의 성능은 최적치가 아니었으며(WHDR = 27.2), Sintel/MIT와 IIW 사이의 도메인 차이가 존재할 가능성이 있다. 이는 진짜값 형식의 차이(물리적 분해 대비 인간 판단 기반) 때문일 수 있다.