[논문 리뷰] DARN: a Deep Adversial Residual Network for Intrinsic Image Decomposition

Louis Lettry, Kenneth Vanhoey외 1명|arXiv (Cornell University)|2016. 12. 23.

Medical Image Segmentation Techniques인용 수 6

한 줄 요약

이 논문은 에너지 보존성과 스케일 민감도를 강조하여 단일 이미지에서 알베도와 셰이딩을 동시에 예측하는 엔드 투 엔드 훈련을 통해 시각적으로 유용한 GAN 손실을 사용하는 딥 적대적 잔차 네트워크인 DARN을 제안한다. 간소화된 완전 컨볼루션 아키텍처와 잔차 블록, 적대적 판별기로 구성된 이 네트워크는 에너지 보존성과 스케일 민감도를 강제함으로써 MPI Sintel 데이터셋에서 최신 기술을 초월하는 성능을 달성하며, 정량적·정성적 측면에서 이전 방법들을 능가한다.

ABSTRACT

We present a new deep supervised learning method for intrinsic decomposition of a single image into its albedo and shading components. Our contributions are based on a new fully convolutional neural network that estimates absolute albedo and shading jointly. Our solution relies on a single end-to-end deep sequence of residual blocks and a perceptually-motivated metric formed by two adversarially trained discriminators. As opposed to classical intrinsic image decomposition work, it is fully data-driven, hence does not require any physical priors like shading smoothness or albedo sparsity, nor does it rely on geometric information such as depth. Compared to recent deep learning techniques, we simplify the architecture, making it easier to build and train, and constrain it to generate a valid and reversible decomposition. We rediscuss and augment the set of quantitative metrics so as to account for the more challenging recovery of non scale-invariant quantities. We train and demonstrate our architecture on the publicly available MPI Sintel dataset and its intrinsic image decomposition, show attenuated overfitting issues and discuss generalizability to other data. Results show that our work outperforms the state of the art deep algorithms both on the qualitative and quantitative aspect.

연구 동기 및 목표

• 단일 이미지 내재 이미지 분해의 정의되지 않은 성격을 해결하기 위해 알베도와 셰이딩을 동시에 학습함으로써 스케일 모호성과 에너지 손실을 방지한다.
• 셰이딩의 부드러움이나 알베도의 희박성과 같은 물리적 사전 지식에 의존하지 않고 완전히 데이터 기반의 접근법을 가능하게 한다.
• 적대적 훈련과 시각적 손실을 통해 블러 및 색상 번지기 등의 아티팩트를 줄이고 일반화 능력을 향상시킨다.
• 스케일 민감도와 분해 일관성을 고려한 새로운 정량적 지표를 도입하여 공정한 평가를 가능하게 한다.
• Sintel 및 MIT와 같은 혼합 데이터셋에서 훈련을 통해 도메인 간 강인성과 이식 가능성을 입증한다.

제안 방법

• 잔차 블록 기반의 완전 컨볼루션 엔드 투 엔드 딥 네트워크를 사용하여 단일 입력 이미지에서 알베도와 셰이딩을 동시에 예측한다.
• 입력 이미지에서 0이 아닌 편차를 예측하는 잔차 학습 전략을 통해 훈련 안정성과 특징 학습을 향상시킨다.
• 두 개의 적대적으로 훈련된 판별기를 사용하는 이중 판별기 GAN 설정을 도입하여 알베도 및 셰이딩 예측의 시각적 현실감을 강화한다.
• 손실 함수는 적대적 손실과 시각적 유용성을 고려한 메트릭을 조합하여 아티팩트를 줄이고 시각적 정밀도를 향상시킨다.
• 도메인 간 일반화를 향상시키기 위해 Sintel 및 MIT 데이터셋의 조합을 사용하여 훈련하며, 도메인 이동을 균형 있게 조절하기 위한 데이터 혼합 전략을 적용한다.
• 공통 예측 구조를 통해 설계적으로 에너지 보존성을 강제함으로써 재구성된 이미지 I ≈ A · S를 확보한다.

실험 결과

연구 질문

• RQ1 물리적 사전 지식에 의존하지 않고도 에너지 보존성을 확보하는 엔드 투 엔드 딥 러닝 모델이 내재 이미지 분해를 성공적으로 수행할 수 있는가?
• RQ2 알베도와 셰이딩을 별도로 예측하는 것에 비해 동시에 예측하는 방식이 일관성 향상과 아티팩트 감소에 얼마나 기여하는가?
• RQ3 시각적 손실을 동반한 적대적 훈련이 내재 이미지 분해에서 흔히 발생하는 블러 및 대trast 진동과 같은 GAN 특유의 아티팩트를 어느 정도 줄일 수 있는가?
• RQ4 스케일 민감도 지표는 전통적인 스케일 불변 지표를 넘어서 내재 이미지 분해 평가에 어떤 기여를 하는가?
• RQ5 합성 데이터에서 훈련된 모델이 실세계 또는 다양한 도메인으로 일반화 가능한가? 그 한계는 무엇인가?

주요 결과

• Sintel 시나리오 분할에서 DARN은 si-MSE 2.41과 rs-MSE 2.45를 기록하여 스케일 불변 및 스케일 민감도 지표 양쪽에서 이전 최고 기술을 초월한다.
• Sintel과 MIT 데이터셋(50:50 비율)을 혼합하여 훈련한 DARN은 MIT 오브제 분할에서 rs-MSE를 1.07로 낮춰 이전 방법들을 크게 능가한다.
• Sintel과 MIT 데이터셋의 결합된 훈련을 통해 학습된 모델은 Sintel에서 DSSIM 16.65, MIT에서 22.90을 기록하여 도메인 간 강력한 일반화 능력을 입증한다.
• 정성적 결과는 복잡한 장면(예: 그림 6의 문)에서 개선된 분해 성능를 보여주지만, Sintel의 합성적 편향으로 인해 노란빛 셰이딩 아티팩트가 일부 지속된다.
• 혼합 훈련 데이터를 사용할 경우 기존 딥 러닝 방법에 비해 과적합이 감소하고 내부 도메인 일반화 능력이 향상됨을 확인했다.
• 합성 벤치마크에서 뛰어난 성능를 보였지만, 실세계 데이터(예: IIW)로의 이식 가능성은 제한적이며, 도메인 이동 기법이나 실세계 훈련 데이터가 필요함을 시사한다.