[논문 리뷰] SAGAN: Adversarial Spatial-asymmetric Attention for Noisy Nona-Bayer Reconstruction

S M A Sharif, Rizwan Ali Naqvi외 1명|arXiv (Cornell University)|2021. 10. 16.

Image Processing Techniques and Applications인용 수 8

한 줄 요약

이 논문은 노이즈가 있는 Nona-Bayer CFA 패턴에서 고품질 RGB 이미지를 복원하기 위한 새로운 엔드 투 엔드 딥 러닝 프레임워크인 SAGAN을 제안한다. 공간 비대칭 주의 모듈과 적대적 훈련을 통합함으로써 SAGAN은 시각적 잡음 요소를 효과적으로 줄이고 인지적 품질을 향상시켜, 정량적 지표와 사용자 선호도 연구에서 최신 기술을 능가한다.

ABSTRACT

Nona-Bayer colour filter array (CFA) pattern is considered one of the most viable alternatives to traditional Bayer patterns. Despite the substantial advantages, such non-Bayer CFA patterns are susceptible to produce visual artefacts while reconstructing RGB images from noisy sensor data. This study addresses the challenges of learning RGB image reconstruction from noisy Nona-Bayer CFA comprehensively. We propose a novel spatial-asymmetric attention module to jointly learn bi-direction transformation and large-kernel global attention to reduce the visual artefacts. We combine our proposed module with adversarial learning to produce plausible images from Nona-Bayer CFA. The feasibility of the proposed method has been verified and compared with the state-of-the-art image reconstruction method. The experiments reveal that the proposed method can reconstruct RGB images from noisy Nona-Bayer CFA without producing any visually disturbing artefacts. Also, it can outperform the state-of-the-art image reconstruction method in both qualitative and quantitative comparison. Code available: https://github.com/sharif-apu/SAGAN_BMVC21.

연구 동기 및 목표

• 구조적 왜곡과 잘못된 색상 잡음이 발생하는 노이즈가 많은 Nona-Bayer CFA 패턴에서 고정밀도 RGB 이미지를 복원하는 문제를 해결한다.
• 노이즈 조건에서 시각적으로 심한 잡음 요소를 유발하는 기존의 동시 디모자이징 및 노이즈 제거(JDD) 방법의 한계를 극복한다.
• 새로운 주의 메커니즘을 통해 이중 방향의 공간 변환과 글로벌 컨텍스트를 동시에 학습하는 엔드 투 엔드 딥 러닝 모델을 개발한다.
• 적대적 훈련을 통합하여 더 자연스러운 질감과 색상 분포를 생성함으로써 인지적 이미지 품질을 향상시킨다.
• 실세계 노이즈 데이터에 대한 제안된 방법의 효과성을 입증하고, 사용자 연구와 벤치마크 비교를 통해 성능을 검증한다.

제안 방법

• Nona-Bayer CFA 패턴에서 수직 및 수평 픽셀 변환을 위한 별도의 주의 맵을 학습하는 공간 비대칭 주의 모듈을 제안한다.
• 장거리 의존성을 포착하고 특징 표현을 향상시키기 위해 공간 비대칭 모듈 내부에 대규모 커널 글로벌 주의를 통합한다.
• 색상 공간 간의 색상 일관성을 유지하기 위해 공간 비대칭 주의 모듈과 점진적 컨텍스트 학습(PCL) 블록을 결합한다.
• 생성적 적대적 네트워크(GAN) 판별자를 활용하여 생성기의 출력이 더 현실적인 질감과 자연스러운 색상 분포를 가지도록 유도한다.
• 픽셀 수준 정확도와 인지적 품질을 동시에 최적화하기 위해 L1, 인지적, 적대적 손실의 조합을 사용하여 SAGAN 전체 모델을 엔드 투 엔드로 훈련한다.
• 노이즈 수준 σ = 10, 20, 30을 포함하는 다중 척도 훈련 전략을 사용하여 다양한 노이즈 조건에 대한 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 노이즈가 많은 Nona-Bayer CFA에서 RGB 복원 시 새로운 공간 비대칭 주의 메커니즘이 시각적 잡음 요소를 효과적으로 줄일 수 있는가?
• RQ2 적대적 훈련과 공간 비대칭 주의를 조합함으로써, 단순 지도 학습 기반 기준 대비 인지적 이미지 품질은 어느 정도 향상되는가?
• RQ3 개별 구성 요소인 공간 비대칭 주의, PCL, GAN 판별자 중 각각이 노이즈가 많은 Nona-Bayer 복원 성능에 기여하는 정도는 어떠한가?
• RQ4 사용자 연구를 통해 제안된 방법이 실세계 노이즈 센서 데이터에 잘 일반화되는가?
• RQ5 다양한 이미지 콘텐츠와 노이즈 수준에서 정량적 지표와 정성적 인식 모두에서 뛰어난 성능을 달성할 수 있는가?

주요 결과

• 노이즈 수준 σ = 30 조건에서 선형 RGB 이미지에 대해 SAGAN은 PSNR 33.47 dB, SSIM 0.9292를 기록하여 다음으로 우수한 방법(BaseGAN: 27.45 dB PSNR)을 크게 앞서나간다.
• sRGB 이미지에서 SAGAN은 DeltaE 2.48을 기록하여 기준 모델(10.63 DeltaE)과 최신 기술 대비 뛰어난 색상 정합성을 보였다.
• 사용자 선호도 연구에서 SAGAN은 평균 의견 점수(MOS) 0.87을 기록했으며, 노이즈가 많은 원본 입력(0.13)에 비해 강력한 인지적 우수성을 입증했다.
• 절단 실험 결과, 공간 비대칭 주의, PCL, GAN 판별자 중 어느 구성 요소라도 제거할 경우 PSNR, SSIM, DeltaE가 심각하게 감소함을 확인하여 각 요소의 개별적 및 상호 보완적 기여를 입증했다.
• 정성적 결과는 SAGAN이 특히 고대비 및 텍스트가 풍부한 영역에서 잘못된 색상 잡음과 구조적 왜곡을 효과적으로 억제함을 보여준다.
• 모델는 실세계 노이즈 데이터에 대해 잘 일반화되며, 정성적 결과를 통해 참조값과 비교해 자연스러운 질감과 정확한 색상 재현을 보였다.