[논문 리뷰] CuDi: Curve Distillation for Efficient and Controllable Exposure Adjustment

Chongyi Li, Chunle Guo외 3명|arXiv (Cornell University)|2022. 07. 28.

Image Enhancement Techniques인용 수 6

한 줄 요약

CuDi는 영상 강조에서 Zero-Reference, 커브 기반 기법의 추론 속도를 향상시키기 위해 커브 정수화 기법을 사용하는 경량이며 실시간인 노출 조정 방법을 제안한다. 고차수 커브를 접선 근사로 대체하고, 자기지도형 공간적 노출 제어 손실을 도입함으로써, 단지 3K 파라미터로도 과노출 및 과다 노출된 영상에 대해 민감하고 제어 가능한 보정을 가능하게 하며, 4K 영상 기준으로 CPU에서 1초 이내의 추론 속도를 달성한다.

ABSTRACT

We present Curve Distillation, CuDi, for efficient and controllable exposure adjustment without the requirement of paired or unpaired data during training. Our method inherits the zero-reference learning and curve-based framework from an effective low-light image enhancement method, Zero-DCE, with further speed up in its inference speed, reduction in its model size, and extension to controllable exposure adjustment. The improved inference speed and lightweight model are achieved through novel curve distillation that approximates the time-consuming iterative operation in the conventional curve-based framework by high-order curve's tangent line. The controllable exposure adjustment is made possible with a new self-supervised spatial exposure control loss that constrains the exposure levels of different spatial regions of the output to be close to the brightness distribution of an exposure map serving as an input condition. Different from most existing methods that can only correct either underexposed or overexposed photos, our approach corrects both underexposed and overexposed photos with a single model. Notably, our approach can additionally adjust the exposure levels of a photo globally or locally with the guidance of an input condition exposure map, which can be pre-defined or manually set in the inference stage. Through extensive experiments, we show that our method is appealing for its fast, robust, and flexible performance, outperforming state-of-the-art methods in real scenes. Project page: https://li-chongyi.github.io/CuDi_files/.

연구 동기 및 목표

• 쌍체 학습 데이터 없이도 저조도 또는 과노출 영상에서 효율적이고 제어 가능한 노출 조정 문제를 해결한다.
• 기존 방법이 과다 노출 또는 과소 노출 영상 중 하나만 다루는 한계를 극복한다.
• 추론 중에 조건 기반 노출 맵을 입력하여 유연한 전역 및 국소 노출 조정을 가능하게 한다.
• 다양한 노출 조건에서 높은 시각적 품질을 유지하면서도 최소한의 모델 크기와 실시간 성능를 확보한다.

제안 방법

• Zero-DCE에서 반복적이고 시간이 오래 걸리는 고차수 커브 연산을 대체하기 위해 커브 정수화 기법을 도입하여 빠른 접선 근사 연산을 구현한다.
• 접선의 단조성 유지 특성을 활용해 향상된 영상에서 공간 일관성을 유지한다.
• 출력 노출 수준을 조건 기반 노출 맵과 일치시키기 위한 자기지도형 공간적 노출 제어 손실을 제안한다.
• 조건 기반 노출 맵을 입력으로 사용하여 전역 또는 국소 노출 조정을 유도하며, 이는 사전 정의되거나 추론 중 수동으로 설정할 수 있다.
• 쌍체 또는 비쌍체 학습 데이터가 필요 없는 Zero-Reference 학습 프레임워크를 유지한다.
• 단지 3K 학습 가능한 파라미터를 가진 경량 네트워크를 설계하여 CPU 및 GPU에서 빠른 추론이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 커브 정수화 기법이 커브 기반 영상 강조에서 성능을 유지하면서도 추론 속도를 크게 향상시킬 수 있는가?
• RQ2 쌍체 학습 데이터 없이도 단일 모델이 과소 노출 및 과다 노출 영상 모두를 효과적으로 보정할 수 있는가?
• RQ3 조절 가능한 노출 맵을 통해 균일한 조정과 공간적으로 변형된 조정 모두를 지원하는 제어 가능한 노출 조정이 가능한가?
• RQ4 단지 3K 파라미터를 가진 경량 모델이 고해상도 영상(예: 4K)에서 실시간 성능를 유지하면서도 높은 인지적 품질을 확보할 수 있는가?
• RQ5 최신 기술 대비 제안된 방법은 속도, 모델 크기, 시각적 품질 측면에서 어떻게 비교되는가?

주요 결과

• CuDi는 4K 영상에서 CPU 기준 0.5초, GPU 기준 5.4ms의 추론 속도를 달성하여, 이전 방법들인 [9] (CPU 기준 16.2초) 및 [13] (12M 파라미터)보다 빠른 성능을 보였다.
• 모델은 단지 3K의 학습 가능한 파라미터를 사용하여, [9] (7M) 및 [13] (12M) 대비 극적으로 감소된 크기로 높은 구현 가능성 확보했다.
• 사용자 연구 결과, 'Ours-auto' 및 'Ours-manu'는 25명의 참가자 중에서 과소 노출 및 과다 노출 데이터셋 모두에서 선호되었으며, 강력한 인지적 품질을 나타냈다.
• 조건 기반 노출 맵을 다양하게 설정함으로써 단일 모델을 통해 균일한 설정과 공간적으로 변형된 설정을 포함한 여러 노출 수준을 생성하는 데 성공했다.
• 시각적 결과는 과소 노출 및 과다 노출 영역의 효과적인 보정을 보여주었으며, 최소한의 아티팩트와 자연스러운 색상 재현을 유지했다.
• 극도로 클리핑된 영역(예: 순백 또는 순흑)에서는 신호 손실이 복구 불가능하여 향후 작업으로 RAW 데이터 또는 인painting 기법이 필요할 것으로 보인다.