[논문 리뷰] MSR-Net: Multi-Scale Relighting Network for One-to-One Relighting

Sourya Dipta Das, Nisarg A. Shah외 1명|arXiv (Cornell University)|2021. 07. 13.

Image Enhancement Techniques참고 문헌 17인용 수 5

한 줄 요약

이 논문은 한 명의 이미지에 대해 재조명하는 데 사용되는 경량이며 미분 가능한 스택형 다중 척도 딥 네트워크인 MSR-Net을 제안한다. 이 네트워크는 세 가지 이미지 척도 간의 굵은 것에서 자세한 것까지의 계층적 특징 융합을 통해 작동한다. 이 방법은 이중 단계 훈련 전략과 가중 조합 손실 함수를 사용하여 VIDIT 데이터셋에서 17.89 PSNR 및 0.5899 SSIM의 최신 기술 수준 성능을 달성하며, 이는 이전 모델 대비 잡음 감소와 인지적 품질 향상으로 이어진다.

ABSTRACT

Deep image relighting allows photo enhancement by illumination-specific retouching without human effort and so it is getting much interest lately. Most of the existing popular methods available for relighting are run-time intensive and memory inefficient. Keeping these issues in mind, we propose the use of Stacked Deep Multi-Scale Hierarchical Network, which aggregates features from each image at different scales. Our solution is differentiable and robust for translating image illumination setting from input image to target image. Additionally, we have also shown that using a multi-step training approach to this problem with two different loss functions can significantly boost performance and can achieve a high quality reconstruction of a relighted image.

연구 동기 및 목표

• 기존 재조명 방법들이 계산 비용이 높고 메모리 효율성이 떨어지는 등의 한계를 해결하기 위해 더 효율적이고 미분 가능한 아키텍처를 설계한다.
• 저수준에서 고수준으로의 인코더-디코더 기반 네트워크와 스케일 간 스킵 연결을 통해 다중 척도 특징 계층을 활용하여 재조명 성능을 향상시킨다.
• 새로운 이중 단계 훈련 전략과 다중 손실 함수의 가중 조합을 도입하여 재구성 품질과 에지 유지 성능을 향상시킨다.
• 특히 색온도 및 조명 방향 이동에 있어 고속 추론과 낮은 메모리 사용을 유지하면서도 높은 품질의 재조명 결과를 달성한다.
• 예술적 향상, 데이터 증강, 도메인 적응과 같은 재조명 작업에서의 강건성과 일반화 능력을 입증한다.

제안 방법

• 핵심 아키텍처는 기본 Deep Multi-Scale Hierarchical Network(DMSHN)을 두 번 연결하여 특징 표현과 성능을 향상시킨 Stacked Deep Multi-Scale Hierarchical Network(Stacked DMSHN)이다.
• 네트워크는 입력 이미지를 세 수준의 이미지 피라미드로 처리하며, 각 수준에는 인코더와 디코더가 포함되어 있다. 스케일 간 스킵 연결을 통해 하위 수준에서 상위 수준으로 특징을 전달함으로써 공간적 및 맥락적 세부 정보를 유지한다.
• 각 수준의 인코더 출력은 다음 디코더로 전달되기 전에 이전 수준의 출력과 연결되며, 이는 계층적 특징 융합과 개선된 전역 맥락 모델링을 가능하게 한다.
• 모델은 이중 단계로 훈련된다: 첫 번째 단계에서는 초기 수렴을 위해 L2 손실을 사용하고, 두 번째 단계에서는 L1, SSIM, 인지적, 총 변동 손실을 포함하는 병합 손실 함수를 사용한다.
• 병합 손실 함수는 $ L_{CL} = \lambda_1 L_1 + \lambda_2 L_{SSIM} + \lambda_3 L_p + \lambda_4 L_{tv} $ 로 정의되며, 하이퍼파라미터는 $ \lambda_1=1 $, $ \lambda_2=-5e^{-3} $, $ \lambda_3=0.006 $, $ \lambda_4=2e^{-8} $ 이다.
• 훈련에는 Adam 옵티마이저를 사용하며, 2500 에포크 동안 학습률을 2e-3에서 5e-5로 점진적으로 감소시키고, 배치 크기는 2이며, 입력 이미지는 효율성을 위해 512×512로 리사이징된다.

실험 결과

연구 질문

• RQ1 기존 모델 대비 더 낮은 추론 시간과 메모리 사용량을 기록하면서도 스택형 다중 척도 딥 네트워크가 뛰어난 재조명 성능을 달성할 수 있는가?
• RQ2 병합 손실 함수를 사용하는 이중 단계 훈련 전략이 재조명된 이미지의 인지적 품질 향상과 잡음 감소에 기여하는가?
• RQ3 L1, SSIM, 인지적, TV 손실 요소를 병합함으로써 재구성 정밀도와 에지 유지 성능에 어떤 영향을 미치는가?
• RQ4 비차별 가능한 이중 단계 방법에 비해, 미분 가능한 종단 간 아키텍처가 이미지 재조명 작업에서 더 뛰어난 성능을 낼 수 있는가?
• RQ5 깊이 또는 기하학적 사전 지식 없이도 색온도 및 조명 방향 이동에 대해 모델이 잘 일반화할 수 있는가?

주요 결과

• Stacked DMSHN 모델은 검증 세트에서 PSNR 17.89와 SSIM 0.5899를 기록하여 DRN, Dense-GridNet, SRN 등 비교 모델들을 모두 능가했다.
• 제안된 병합 손실 함수($ L_{CL} $)는 단순히 L2 손실이나 병합 Sobel 손실을 사용하는 것보다 PSNR와 LPIPS 점수를 크게 향상시켰으며, PSNR 17.89와 LPIPS 점수 0.4088을 기록했다.
• 비교 가능한 다중 척도 모델들 중에서 평균 추론 시간이 가장 짧아(0.0116초) 가장 빠른 성능을 보였다.
• 정성적 결과 분석에서 Stacked DMSHN는 LPIPS 점수가 더 낮은 Dense-GridNet에 비해 잡음이 적고 인지적 품질이 뛰어난 이미지를 생성했다.
• 이중 단계 훈련 과정은 성능 향상에 크게 기여했으며, 모든 지표에서 단일 단계 훈련 대비 더 나은 결과를 달성했다.
• 빛 기울기 생성에서는 중간 정도의 성능을 보였지만, 깊이 정보가 없어 음영이 강한 영역에서는 어려움을 겪었으며, 향후 연구에서는 다중 시점 입력이 필요할 것으로 보인다.