[논문 리뷰] Diffusion in the Dark: A Diffusion Model for Low-Light Text Recognition

Cindy M. Nguyen, Eric R. Chan외 2명|arXiv (Cornell University)|2023. 03. 07.

Image and Signal Denoising Methods인용 수 5

한 줄 요약

이 논문은 저조도 이미지 복원을 위한 조건부 확산 모델인 Diffusion in the Dark (DiD)을 제안한다. 이 모델은 텍스트 인식에 필수적인 고주파 세부 정보를 유지한다. 어두운 노이지 패치로 훈련된 DiD는 작업 전용 미세조정 없이도 최신 기술을 능가하며, 실제 저조도 조건에서 SOTA 수준의 정량적 성능과 뛰어난 세부 정보 복원 성능을 달성한다.

ABSTRACT

Capturing images is a key part of automation for high-level tasks such as scene text recognition. Low-light conditions pose a challenge for high-level perception stacks, which are often optimized on well-lit, artifact-free images. Reconstruction methods for low-light images can produce well-lit counterparts, but typically at the cost of high-frequency details critical for downstream tasks. We propose Diffusion in the Dark (DiD), a diffusion model for low-light image reconstruction for text recognition. DiD provides qualitatively competitive reconstructions with that of state-of-the-art (SOTA), while preserving high-frequency details even in extremely noisy, dark conditions. We demonstrate that DiD, without any task-specific optimization, can outperform SOTA low-light methods in low-light text recognition on real images, bolstering the potential of diffusion models to solve ill-posed inverse problems.

연구 동기 및 목표

• 고수준 비전 작업, 특히 텍스트 인식에서 저조도 이미지 복원 문제를 해결하기 위해 기존 방법이 고주파 세부 정보를 유지하지 못하는 데 도전한다.
• 극도로 어두운 노이지 이미지에서 미학적 품질과 구조적 정확성을 유지하는 복원 방법을 개발한다.
• 저조도 영상에서 부족한 역문제를 해결하는 데 있어 확산 모델의 잠재력을 탐색한다. 특히 고주파 세부 정보가 필수적인 경우에 대해.
• 확산 모델이 신호가 낮은 환경에서 GAN이나 오토에코더보다 더 나은 세밀한 무늬와 윤곽을 복원할 수 있음을 입증한다.
• 재훈련 없이 다양한 실제 저조도 환경에서 작동하는 일반화 가능하고 계산 비용이 낮은 방법을 제공한다.

제안 방법

• DiD는 저조도 이미지의 자르기 패치를 기반으로 훈련된 조건부 확산 모델로, 전체 해상도의 밝은 출력을 복원하면서도 고주파 세부 정보를 유지한다.
• 모델은 스케일 연결이 있는 U-Net 아키텍처를 사용하며, 극도로 낮은 신호 대 노이즈 비율을 가진 저조도 데이터에 적합한 노이즈 스케줄링을 적용한다.
• 오른쪽 꼬리가 긴 어두운 이미지 분포에서 훈련을 안정화하기 위해 핵심 정규화 기법을 도입한다. 이에는 꼬리 정규화와 HSV 공간에서 V 채널의 적응형 스케일링이 포함된다.
• 예측된 VAE를 사용한 잠재 공간에서의 노이즈 제거를 통해 효율적인 잠재 공간 노이즈 제거를 실현함으로써 계산 비용을 감소시킨다.
• DiD는 실제 광자 부족 조건을 시뮬레이션하기 위해 포isson-га우시안 노이즈가 첨가된 합성 저조도 데이터를 기반으로 엔드 투 엔드로 훈련된다.
• 추론은 난수에서 시작하여 저조도 입력에 조건부로 반복적인 노이즈 제거를 수행함으로써 고정밀도 복원을 생성한다.

Figure 2 : Overview of DiD pipeline. During training, we randomly crop $32\times 32$ patches at multiple scales (noted with $s$ ) using Single Patchify and concatenate the low-light patches, low-resolution well-lit patches, and high-resolution well-lit patches together as conditioning images to deno

실험 결과

연구 질문

• RQ1 기존 최신 기술보다 확산 모델이 극도로 어두운 노이지 이미지에서 고주파 세부 정보를 더 잘 복원할 수 있는가?
• RQ2 확산 기반 접근법은 작업 전용 미세조정 없이도 구조적 정확성과 텍스트 가독성을 유지할 수 있는가?
• RQ3 지침 없는 실제 저조도 데이터셋(지침 없는 밝은 이미지가 포함된)에서 DiD는 어떻게 성능을 내는가?
• RQ4 극도로 비대칭이고 어두운 이미지 분포에서 확산 훈련을 안정화하기 위해 필요한 정규화 기법은 무엇인가?
• RQ5 DiD는 재훈련 없이도 예상치 못한 실제 저조도 환경에서 일반화되며, 동시에 미학적 품질과 인식 성능을 유지할 수 있는가?

주요 결과

• SVT-Perspective 데이터셋에서 저조도 조건 하에서 DiD는 PSNR 21.00을 기록하며, 다음으로 우수한 방법(비교 KID: 0.14 vs. 0.15)을 능가하고, 단어 정확도 및 편집 거리 지표에서 SOTA를 초월한다.
• ICDAR2013 데이터셋에서 0.4× 밝기와 높은 노이즈 조건 하에서 DiD는 단어 정확도 89.2%와 정규화된 편집 거리 0.82를 달성하여 기준 모델을 초월한다.
• 정성적 결과에서는 LLFlow나 LDM이 흐릿하거나 비현실적인 복원을 생성하는 반면, DiD는 심각하게 손상된 이미지에서도 세밀한 텍스트 윤곽과 문자 세부 정보를 복원함을 보여준다.
• DiD는 실제 DarkFace 데이터에서 고급 품질의 복원을 유지하며, LLFlow에서 관찰되는 비현실적인 빨간 빛 톤을 피함으로써 예상치 못한 실제 저조도 환경에 대한 강건성을 입증한다.
• 제거 실험 결과, 조건부 U-Net에 ILVR와 적절한 정규화가 필수적임을 확인했다: ILVR 제거 시 PSNR가 2.75점 감소했으며, 정규화 생략 시 성능 저하가 심각하게 발생했다.
• 작업 전용 미세조정 없이도 DiD는 후속 텍스트 인식에서 최신 기술을 능가하며, 확산 모델이 고주파 복원에 있어 일반화 가능함을 입증한다.

Figure 3 : Color pixel distributions for low-light data. Right-tailed data do not follow assumptions made in training a diffusion model. We normalize the data to the appropriate range for training. Top: Data distribution of a random selection of 30 images from the LOL training set [ 89 ] . Middle: D