[논문 리뷰] Flexible Piecewise Curves Estimation for Photo Enhancement

Chongyi Li, Chunle Guo외 3명|arXiv (Cornell University)|2020. 10. 26.

Image Enhancement Techniques참고 문헌 40인용 수 9

한 줄 요약

이 논문은 픽셀 단위의 이미지 재구성 대신 유연한 조각별 곡선을 추정하는 가벼운 딥러닝 방법인 FlexiCurve를 제안한다. 다중 작업 신경망을 통해 결합점(knot points), 곡선 파라미터, 공간 적응형 신뢰도 맵을 예측함으로써 FlexiCurve는 오직 150K 파라미터와 83 FPS 추론 속도로 효율적이고 고성능의 향상 결과를 내며, 과도하거나 부족한 향상 아티팩트 없이 쌍체 데이터와 비쌍체 데이터 양쪽 모두에서 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

This paper presents a new method, called FlexiCurve, for photo enhancement. Unlike most existing methods that perform image-to-image mapping, which requires expensive pixel-wise reconstruction, FlexiCurve takes an input image and estimates global curves to adjust the image. The adjustment curves are specially designed for performing piecewise mapping, taking nonlinear adjustment and differentiability into account. To cope with challenging and diverse illumination properties in real-world images, FlexiCurve is formulated as a multi-task framework to produce diverse estimations and the associated confidence maps. These estimations are adaptively fused to improve local enhancements of different regions. Thanks to the image-to-curve formulation, for an image with a size of 512*512*3, FlexiCurve only needs a lightweight network (150K trainable parameters) and it has a fast inference speed (83FPS on a single NVIDIA 2080Ti GPU). The proposed method improves efficiency without compromising the enhancement quality and losing details in the original image. The method is also appealing as it is not limited to paired training data, thus it can flexibly learn rich enhancement styles from unpaired data. Extensive experiments demonstrate that our method achieves state-of-the-art performance on photo enhancement quantitively and qualitatively.

연구 동기 및 목표

• 픽셀 단위 재구성에 의존하는 기존 딥러닝 기반 사진 향상 방법의 비효율성과 높은 메모리 비용 문제를 해결하기 위해.
• 쌍체 데이터 방법의 고정된 향상 스타일에 대한 한계를 극복하기 위해 비쌍체 학습을 통해 다양한 향상 스타일을 가능하게 하기 위해.
• 이미지 간 번역 대신 이미지에서 곡선으로의 매핑을 통해 향상 품질, 효율성, 세부 사항 유지 간 균형을 이루기 위해.
• 공간 적응형 신뢰도 맵을 사용해 다수의 곡선 추정을 융합함으로써 국소적 향상을 적응적으로 가능하게 하기 위해.
• 아티팩트를 유발하지 않으면서도 전반적인 톤 조정과 국소 대비 향상 모두를 지원하는 곡선 추정 프레임워크를 설계하기 위해.

제안 방법

• 이 방법은 각 색상 채널에 대해 조각별 곡선의 제어점(knots)과 파라미터를 예측하는 다중 작업 컨볼루션 신경망을 사용한다.
• 신뢰도 맵이 출력되어 다수의 곡선 추정을 공간적으로 가중하여 다양한 향상 솔루션의 적응형 융합을 가능하게 한다.
• 곡선 추정은 비선형 조정이 가능하면서도 미분 가능성과 부드러움을 유지하는 조각별 매핑 함수로 공식화된다.
• 프레임워크는 쌍체 및 비쌍체 학습을 모두 지원하여, 쌍체 기반 참조 이미지가 필요 없이 스타일 일반화를 가능하게 한다.
• 공간 적응형 융합 메커니즘은 학습된 신뢰도 맵을 사용해 다수의 곡선 예측을 융합하여 국소 영역을 선택적으로 향상시킨다.
• 출력 공간이 제약을 받음으로써 해가 유효한 다양체(manifold) 위에 위치하고 물리적 타당성과 부드러운 전이를 유지한다.

실험 결과

연구 질문

• RQ1 픽셀 단위로 이미지를 재구성하는 대신 조각별 곡선을 추정함으로써 경량 네트워크가 최신 기술 수준의 사진 향상 성능을 달성할 수 있는가?
• RQ2 다수의 곡선 추정을 어떻게 적응적으로 융합하여 국소 향상을 향상시키면서 과도하거나 부족한 향상 현상을 방지할 수 있는가?
• RQ3 곡선 기반 방법이 쌍체 학습 데이터에 의존하지 않고 다양한 조명 조건에 일반화될 수 있는가?
• RQ4 공간 적응형 신뢰도 맵이 국소 대비 및 세부 사항 유지에 얼마나 기여하는가?
• RQ5 실제 사진 및 역사적 사진에 대해 효율성, 시각적 품질, 내구성 측면에서 이 방법은 어떻게 성능을 발휘하는가?

주요 결과

• FlexiCurve는 정량적 지표(예: PSNR, LPIPS)와 정성적 평가에서 모두 최신 기술 수준의 성능을 달성하며, DPED, CycleGAN, EnlightenGAN 등의 방법을 능가한다.
• CUHK-PQ 데이터셋에서 FlexiCurve-pair는 선호도 조사에서 25%의 사용자 투표를 기록하여 강력한 주관적 품질과 사용자 선호도를 보였다.
• 단일 NVIDIA 2080Ti GPU에서 150K개의 학습 가능한 파라미터로 83 FPS의 추론 속도를 달성하여 높은 효율성을 입증했다.
• 비쌍체 데이터로 학습된 경우에도 FlexiCurve-unpair는 12%의 사용자 선호도를 기록하여 도메인 갭에 대한 강력한 일반화 능력과 내구성을 보였다.
• 노란색이 도드라지거나 색조가 어긋나는 오래된 컬러 사진을 성공적으로 향상시켜 실제 응용에서 색상, 밝기, 대비를 효과적으로 복원했다.
• 성공에도 불구하고 FlexiCurve-unpair는 비지도 학습에서 발생하는 도메인 갭으로 인해 가끔 색조 오류를 유발하며, 공간 보간법이 모든 영역에서 국소 불변성을 유지하지 못한다.