[논문 리뷰] NTIRE 2022 Challenge on High Dynamic Range Imaging: Methods and Results

Eduardo Pérez-Pellitero, Sibi Catley-Chandar외 91명|arXiv (Cornell University)|2022. 05. 25.

Image Enhancement Techniques인용 수 11

한 줄 요약

이 논문은 고정밀도(HDR) 영상 복원을 위한 다중 저동적 범위(LDR) 노출에서의 계산 제약 조건 하에 성능을 평가하는 NTIRE 2022 HDR 챌린지에 대해 기술한다. 이 챌린지는 복잡도 제약 하에서 정밀도를 최적화하는 토너먼트와 정밀도 기준을 초월하면서 복잡도를 최소화하는 두 가지 트랙을 포함하며, 1500개의 훈련, 60개의 검증, 201개의 테스트 예제를 포함한 데이터셋을 사용한다. 이 데이터셋은 다중 노출 LDR 입력과 참조 HDR 영상으로 구성되어 있으며, ALONG 및 VAlgo와 같은 모델을 통해 최신 기술 수준의 성능을 달성하였다. 이들 모델은 최대 39.417의 높은 PSNR와 200 미만의 MAC 연산을 동시에 확보하였다.

ABSTRACT

This paper reviews the challenge on constrained high dynamic range (HDR) imaging that was part of the New Trends in Image Restoration and Enhancement (NTIRE) workshop, held in conjunction with CVPR 2022. This manuscript focuses on the competition set-up, datasets, the proposed methods and their results. The challenge aims at estimating an HDR image from multiple respective low dynamic range (LDR) observations, which might suffer from under- or over-exposed regions and different sources of noise. The challenge is composed of two tracks with an emphasis on fidelity and complexity constraints: In Track 1, participants are asked to optimize objective fidelity scores while imposing a low-complexity constraint (i.e. solutions can not exceed a given number of operations). In Track 2, participants are asked to minimize the complexity of their solutions while imposing a constraint on fidelity scores (i.e. solutions are required to obtain a higher fidelity score than the prescribed baseline). Both tracks use the same data and metrics: Fidelity is measured by means of PSNR with respect to a ground-truth HDR image (computed both directly and with a canonical tonemapping operation), while complexity metrics include the number of Multiply-Accumulate (MAC) operations and runtime (in seconds).

연구 동기 및 목표

• 표준 하드웨어에서 실시간 또는 인터랙티브 사용을 위한 효율적이고 저복잡도의 계산 HDR 영상 복원 기술을 발전시키기 위해.
• 제한된 계산 예산 하에서 최신 기술 수준의 다중 프레임 HDR 융합 방법을 평가하기 위해.
• PSNR, 런타임, MAC 연산 수를 기준으로 다양한 모델 간 성능을 비교하기 위해.
• 다중 노출 LDR 영상의 정교한 데이터셋을 활용하여 HDR 복원의 정밀도 및 효율성 기준을 설정하기 위해.
• 실제 구현에 적합한 경량화되고 고성능을 갖춘 HDR 솔루션에 대한 연구를 자극하기 위해.

제안 방법

• 챌린지는 1500개의 훈련, 60개의 검증, 201개의 테스트 예제를 포함하며, 각 예제는 세 개의 LDR 영상(단기, 중간, 장기 노출)과 해당하는 참조 HDR 영상으로 구성된다.
• 참가자 평가 기준은 참조 HDR 영상에 대한 PSNR와 톤맵핑 이후 PSNR를 정밀도 지표로 사용한다.
• 복잡도는 Multiply-Accumulate (MAC) 연산 수와 초 단위 런타임을 통해 측정되어 저복잡도 제약 조건을 강제한다.
• 두 가지 트랙이 정의되어 있다: 트랙 1은 고정된 MAC 연산 수 제약 하에서 PSNR를 최대화하며, 트랙 2는 기준 PSNR를 초월하면서 복잡도를 최소화한다.
• 모델로는 경량 U-Net 변형 및 어텐션 메커니즘, Swin Transformer, 웨이블릿 기반 네트워크 등이 포함되며, 효율성과 특징 융합을 중시한다.
• 훈련 데이터는 반투명 거울을 갖춘 전문 두 대의 카메라 라이트를 통해 유래되었으며, 노이즈는 픽셀 측정 모델을 통해 모델링된다.

실험 결과

연구 질문

• RQ1 다중 프레임 융합에서 HDR 복원 정밀도와 계산 복잡도 사이의 상호 보완적 관계는 어떠한가?
• RQ2 엄격한 MAC 및 런타임 제약 조건을 충족하면서도 최고의 PSNR를 달성하는 딥 러닝 아키텍처는 무엇인가?
• RQ3 어떤 어텐션 메커니즘과 트랜스포머 기반 설계가 저복잡도 HDR 복원에서 CNN보다 우월한가?
• RQ4 경량화되고 모바일 친화적인 모델이 복잡도 제약 조건 하에서 더 무거운 네트워크를 능가할 수 있는가?
• RQ5 최신 기술 수준의 모델과 기준 방법 간의 PSNR 및 효율성 격차는 어떠한가?

주요 결과

• 우수한 성능을 보인 ALONG 모델은 직접 복원 시 PSNR 39.417, 톤맵핑 후 PSNR 37.424를 기록했으며, MAC 연산은 198.47 GMACs, 런타임은 0.324초였다.
• VAlgo 팀은 가장 낮은 런타임(0.061초)을 기록했으며, 직접 복원 시 PSNR 37.888, 톤맵핑 후 PSNR 36.723를 확보했고, MAC 연산은 175.25 GMACs였다.
• antins_cv 팀은 두 번째로 높은 PSNR(38.607)를 기록했으며, 런타임은 0.185초, MAC 연산은 198.38 GMACs였다.
• AdeTeam 및 WorkFromHome를 포함한 여러 팀이 200 GMACs 이하, 0.2초 이하의 추론 시간을 확보하면서 PSNR가 38.0 이상을 기록했다.
• 챌린지 결과로 어텐션 기반 및 저비용 U-Net 아키텍처가 높은 정밀도를 확보하면서도 효율성이 뛰어나, 기존 CNN보다 뛰어난 성능을 보였다.
• 결과적으로 현대적인 아키텍처를 활용하면 엄격한 계산 제약 조건 하에서도 효율적인 HDR 복원이 가능하다는 것이 입증되었다.