[논문 리뷰] Conditional Sequential Modulation for Efficient Global Image Retouching

Jingwen He, Yihao Liu외 2명|arXiv (Cornell University)|2020. 09. 22.

Image Enhancement Techniques참고 문헌 26인용 수 5

한 줄 요약

이 논문은 효율적인 글로벌 이미지 리터치를 위한 경량 조건부 순차적 조절 프레임워크인 CSRNet을 제안한다. 픽셀 간 독립적인 리터치 연산을 다층퍼셉트론(Multi-layer Perceptrons, MLPs)으로 모델링하고, 글로벌 특징 조절(Global Feature Modulation, GFM) 파rameter를 생성하는 조건 네트워크를 통해 조절함으로써, CSRNet은 기존 방법들보다 훨씬 적은 파라미터(37,000 미만)로 MIT-Adobe FiveK 벤치마크에서 최고 성능을 달성한다.

ABSTRACT

Photo retouching aims at enhancing the aesthetic visual quality of images that suffer from photographic defects such as over/under exposure, poor contrast, inharmonious saturation. Practically, photo retouching can be accomplished by a series of image processing operations. In this paper, we investigate some commonly-used retouching operations and mathematically find that these pixel-independent operations can be approximated or formulated by multi-layer perceptrons (MLPs). Based on this analysis, we propose an extremely light-weight framework - Conditional Sequential Retouching Network (CSRNet) - for efficient global image retouching. CSRNet consists of a base network and a condition network. The base network acts like an MLP that processes each pixel independently and the condition network extracts the global features of the input image to generate a condition vector. To realize retouching operations, we modulate the intermediate features using Global Feature Modulation (GFM), of which the parameters are transformed by condition vector. Benefiting from the utilization of $1 imes1$ convolution, CSRNet only contains less than 37k trainable parameters, which is orders of magnitude smaller than existing learning-based methods. Extensive experiments show that our method achieves state-of-the-art performance on the benchmark MIT-Adobe FiveK dataset quantitively and qualitatively. Code is available at https://github.com/hejingwenhejingwen/CSRNet.

연구 동기 및 목표

• 글로벌 톤 조정을 위해 복잡하고 파라미터가 많은 아키텍처를 사용하는 기존 학습 기반 사진 리터치 방법의 비효율성을 해결하기 위해.
• 일반적인 글로벌 리터치 연산(예: 대비, 밝기, 톤 매핑 등)을 학습 가능한 픽셀 단위의 변환으로 모델링하고, 이를 다층퍼셉트론(MLPs)으로 근사하기 위해.
• 글로벌 컨텍스트 추출과 픽셀 단위 처리를 조건부 특징 조절을 통해 분리함으로써 최소한의 파라미터를 가진 효율적인 네트워크를 설계하기 위해.
• 글로벌 이미지 특징에서 파생된 조건 벡터를 통해 사용자 조절을 가능하게 하여 리터치 강도나 스타일 제어를 가능하게 하기 위해.
• 지역적 특징 학습을 피하는 작고 효율적인 아키텍처로 글로벌이고 순차적인 리터치가 효과적으로 학습될 수 있음을 입증하기 위해.

제안 방법

• 기본 네트워크(1×1 컨벌루션만 사용)와 조건 네트워크(글로벌 이미지 특징을 추출해 조건 벡터를 생성)로 구성된 이중 브랜치 아키텍처를 제안한다.
• 글로벌 특징 조절(GFM)을 도입하여, 조건 벡터가 학습 가능한 스케일링 및 시프팅 연산을 통해 중간 특징을 조절함으로써 순차적 편집 단계를 모방한다.
• 잔차나 밀집 블록 없이 오직 여섯 개의 레이어로 구성된 완전 컨볼루션형 경량 아키텍처를 사용하여 파라미터 수를 최소화한다.
• 입력 이미지의 글로벌 통계(예: 밝기, 평균 강도, 히스토그램 등)에서 유도된 조건 벡터 또는 소규모 신경망을 통해 학습된 조건 벡터를 사용한다.
• 사람이 조정한 이미지 쌍으로 구성된 데이터셋을 사용해 엔드 투 엔드 학습을 수행하며, 시각적 품질과 정량적 품질을 최적화한 손실 함수를 적용한다.
• 조건 벡터를 조절할 수 있도록 허용함으로써 사용자 조절이 가능하게 하여 인터랙티브 리터치를 지원한다.

실험 결과

연구 질문

• RQ1 일반적인 글로벌 이미지 리터치 연산(예: 대비, 밝기, 톤 매핑 등)을 공유된 아키텍처를 가진 다층퍼셉트론(MLPs)이 서로 다른 파라미터로 효과적으로 근사할 수 있는가?
• RQ2 지역적 컨벌루션 연산이나 복잡한 모듈에 의존하지 않고 글로벌 이미지 리터치를 수행할 수 있는 경량 신경망을 어떻게 설계할 수 있는가?
• RQ3 기본 네트워크를 동적으로 스타일 특화 리터치가 가능한 방식으로 조건화하기 위한 최적의 전략은 무엇인가?
• RQ4 글로벌 사전 지식(예: 밝기, 강도, 히스토그램 등)을 사용하는 것과 학습된 조건 네트워크를 사용하는 것의 성능 및 효율성은 어떻게 비교되는가?
• RQ5 작은 아키텍처로도 엔드 투 엔드로 순차적이고 모듈화된 방식의 리터치를 효과적으로 학습시킬 수 있는가? 그리고 이는 최신 기술 수준에 도달하거나 이를 초월할 수 있는가?

주요 결과

• CSRNet은 36,489개의 파라미터만을 사용함에도 불구하고 MIT-Adobe FiveK 데이터셋에서 PSNR 23.69를 기록하여 HDRNet 및 화이트박스와 같은 기존 방법들을 능가하는 최고 성능을 달성한다.
• 기본 네트워크에 1×1 컨벌루션만 사용하고 3개의 레이어로 구성된 모델도 PSNR 23.69를 달성하여, 더 깊거나 큰 커널을 사용하는 것이 최소한의 성능 향상에 기여하지 못함을 입증한다.
• 글로벌 특징 조절(GFM)은 SFTNet 및 AdaIN과 같은 다른 조절 전략보다 뚜렷한 성능 향상을 보이며, SFTNet는 공간적으로 변하는 조절에 의존함으로써 뿐만 아니라 오직 20.73의 PSNR에 그친다.
• 히스토그램을 글로벌 사전 지식으로 사용할 경우 가장 높은 성능(22.90 PSNR)을 기록했고, 이는 평균 강도(21.93)와 밝기(21.47)를 이어받았다. 이는 풍부한 글로벌 통계의 중요성을 보여준다.
• 학습된 조건 네트워크와 수작업으로 만든 사전 지식을 조합(예: 32차원 조건 벡터 + 768차원 히스토그램)하면 성능이 23.39 PSNR로 향상되지만, 학습된 조건 네트워크만을 사용하는 전체 CSRNet이 가장 높은 성능(23.69 PSNR)을 기록했다.
• 절단 분석 결과, 기본 네트워크만으로는 성능이 열악하게 나타나(20.47 PSNR), 조건 네트워크가 효과적인 리터치를 위해 필수적임을 입증한다.