[논문 리뷰] AdaInt: Learning Adaptive Intervals for 3D Lookup Tables on Real-time Image Enhancement

Canqian Yang, Meiguang Jin외 3명|arXiv (Cornell University)|2022. 04. 29.

Image Enhancement Techniques인용 수 6

한 줄 요약

AdaInt는 실시간 영상 강화에서 3D 룩업 테이블(3D LUTs)을 위한 학습가능하고 적응형 샘플링 전략을 제안하며, 영상 콘텐츠에 기반해 동적으로 비균일한 샘플링 간격을 조정합니다. 이는 엔드 투 엔드 학습을 가능하게 하는 미분 가능한 AiLUT-Transform 연산자 도입으로, 기준 데이터셋에서 최고 성능을 달성하면서도 계산 오버헤드를 최소화합니다.

ABSTRACT

The 3D Lookup Table (3D LUT) is a highly-efficient tool for real-time image enhancement tasks, which models a non-linear 3D color transform by sparsely sampling it into a discretized 3D lattice. Previous works have made efforts to learn image-adaptive output color values of LUTs for flexible enhancement but neglect the importance of sampling strategy. They adopt a sub-optimal uniform sampling point allocation, limiting the expressiveness of the learned LUTs since the (tri-)linear interpolation between uniform sampling points in the LUT transform might fail to model local non-linearities of the color transform. Focusing on this problem, we present AdaInt (Adaptive Intervals Learning), a novel mechanism to achieve a more flexible sampling point allocation by adaptively learning the non-uniform sampling intervals in the 3D color space. In this way, a 3D LUT can increase its capability by conducting dense sampling in color ranges requiring highly non-linear transforms and sparse sampling for near-linear transforms. The proposed AdaInt could be implemented as a compact and efficient plug-and-play module for a 3D LUT-based method. To enable the end-to-end learning of AdaInt, we design a novel differentiable operator called AiLUT-Transform (Adaptive Interval LUT Transform) to locate input colors in the non-uniform 3D LUT and provide gradients to the sampling intervals. Experiments demonstrate that methods equipped with AdaInt can achieve state-of-the-art performance on two public benchmark datasets with a negligible overhead increase. Our source code is available at https://github.com/ImCharlesY/AdaInt.

연구 동기 및 목표

• 3D LUT의 균일 샘플링 전략이 국소 비선형성을 모델링하는 데에 최적화되지 않아 성능이 열등한 문제를 해결하기 위해.
• 이미지 기반의 색상 변환 복잡도에 맞게 적응하는 비균일 샘플링 간격을 학습함으로써 3D LUT의 표현력을 향상시키기 위해.
• 미분 가능한 효율적인 룩업 메커니즘을 통해 적응형 3D LUT의 엔드 투 엔드 학습을 가능하게 하기 위해.
• 지능적인 샘플링 포인트 배분을 통해 모델 능력을 높이면서도 높은 추론 효율성을 유지하기 위해.
• 기존 3D LUT 기반 영상 강화 프레임워크에 즉시 통합 가능한 플러그 앤 플레이 모듈을 제공하기 위해.

제안 방법

• 3D LUT의 비균일 샘플링 좌표와 출력 색상 값을 동시에 예측하는 신경망 모듈인 AdaInt를 제안합니다.
• 낮은 복잡도의 이진 탐색과 삼선형 보간을 통해 비균일 3D LUT 룩업 과정에서 기울기 흐름을 가능하게 하는, 미분 가능한 AiLUT-Transform 연산자를 도입합니다.
• 다운샘플된 입력 영상에서 샘플링 간격과 출력 값을 모두 예측하기 위해 경량 CNN을 사용합니다.
• 추론 과정에서 각 색상 채널에 대해 이진 탐색을 적용하여 비균일하게 배치된 격자 셀 내에서 입력 색상을 탐색합니다.
• 비균일 격자 구조를 거쳐 기울기 전파가 가능한, 미분 가능한 샘플링 전략을 적용합니다.
• 룩업 과정을 미분 가능하게 함으로써, 적응형 간격을 갖는 3D LUT의 엔드 투 엔드 학습을 가능하게 합니다.

실험 결과

연구 질문

• RQ1 3D LUT에서 비균일 샘플링 간격을 학습함으로써, 영상 강화에서 복잡한 비선형 색상 변환을 더 잘 모델링할 수 있는가?
• RQ2 비균일 3D LUT를 거쳐 기울기 전파를 지원할 수 있는, 미분 가능한 룩업 메커니즘을 어떻게 설계할 수 있는가?
• RQ3 균일 샘플링 대비 비용 증가가 최소화되면서도 적응형 샘플링이 더 높은 성능을 낼 수 있는가?
• RQ4 AdaInt는 기존 3D LUT 기반 영상 강화 프레임워크에 효과적으로 플러그 앤 플레이 방식으로 통합될 수 있는가?
• RQ5 적응형 샘플링 전략은 색상 변환의 다양한 이미지 콘텐츠와 국소 비선형성에 어떻게 반응하는가?

주요 결과

• AdaInt는 FiveK 및 PPR10K 벤치마크에서 모두 최고 성능을 기록하며, PSNR, SSIM, ΔEab 지표에서 기존 3D LUT 기반 방법들을 능가합니다.
• 모든 데이터셋에서 3D-LUT 베이스라인 대비 거의 무시할 수 없는 계산 오버헤드 증가로 성능 향상을 이룹니다.
• PPR10K 데이터셋에서 인간 중심 지표(HC)와 경쟁 가능한 결과를 달성하여 뛰어난 시각적 품질을 입증합니다.
• 정성적 결과 분석을 통해 기존 베이스라인 대비 과노출, 색상 채도, 텍스처 보존 측면에서 뛰어난 성능을 보입니다.
• 누적 오차 히스토GRAM을 통해 학습된 샘플링 간격이 색상 변환의 고곡률 영역에 더 많은 점을 집중 배치하는 것을 시각화할 수 있었습니다.
• 높은 추론 속도를 유지하여 실시간 응용 분야에서의 실용성을 입증했습니다.