[논문 리뷰] Moire Image Restoration using Multi Level Hyper Vision Net

D. Sabari Nathan, M. Parisa Beham외 1명|arXiv (Cornell University)|2020. 04. 18.

Image and Signal Denoising Methods참고 문헌 23인용 수 7

한 줄 요약

이 논문은 다중 척도에서 계층적 특징을 적응적으로 융합함으로써 모리 패턴에 의한 이미지 복원을 위해 잔차 채널 주의 블록을 갖춘 다중 수준의 하이퍼 비전 네트워크를 제안한다. 이 방법은 NTIRE 2020 챌린지 데이터셋에서 PSNR 36.85와 SSIM 0.98를 기록하여 모리 패턴의 동적이고 색상이 변하는 특성에도 불구하고 최신 기술 수준의 성능을 입증한다.

ABSTRACT

A moire pattern in the images is resulting from high frequency patterns captured by the image sensor (colour filter array) that appear after demosaicing. These Moire patterns would appear in natural images of scenes with high frequency content. The Moire pattern can also vary intensely due to a minimal change in the camera direction/positioning. Thus the Moire pattern depreciates the quality of photographs. An important issue in demoireing pattern is that the Moireing patterns have dynamic structure with varying colors and forms. These challenges makes the demoireing more difficult than many other image restoration tasks. Inspired by these challenges in demoireing, a multilevel hyper vision net is proposed to remove the Moire pattern to improve the quality of the images. As a key aspect, in this network we involved residual channel attention block that can be used to extract and adaptively fuse hierarchical features from all the layers efficiently. The proposed algorithms has been tested with the NTIRE 2020 challenge dataset and thus achieved 36.85 and 0.98 Peak to Signal Noise Ratio (PSNR) and Structural Similarity (SSIM) Index respectively.

연구 동기 및 목표

• 센서 샘플링과 디모사이싱으로 인해 발생하는 고주파 자연 이미지에서 동적이고 색상이 변하는 모리 패턴의 과제를 해결하기 위해.
• 미세한 카메라 위치 조정으로도 크게 변하는 모리 아티팩트로 인해 열악해진 이미지 품질을 향상시키기 위해.
• 伝통적인 복원 방법보다 모리 패턴의 복잡하고 비균일한 구조를 더 효과적으로 다룰 수 있는 딥 러닝 프레임워크를 개발하기 위해.
• 복원 정밀도 향상을 위해 잔차 채널 주의 메커니즘을 활용해 다중 수준에서 적응적인 특징 융합을 가능하게 하기 위해.

제안 방법

• 제안된 다중 수준 하이퍼 비전 넷은 다양한 척도에서 특징 추출 및 정련 단계를 갖춘 깊은 합성곱 신경망 아키텍처를 사용한다.
• 각 수준에 잔차 채널 주의 블록을 통합하여 채널 기반 중요도에 따라 특징 맵을 동적으로 재조정한다.
• 학습 가능한 주의 메커니즘을 사용해 모든 네트워크 수준의 계층적 특징을 효율적으로 융합하여 표현 학습을 향상시킨다.
• 구조적이고 질감적인 세부 사항을 유지하기 위해 인지적 손실 및 픽셀 기반 손실 함수를 사용해 엔드 투 엔드로 네트워크를 훈련시킨다.
• 모리 패턴의 동적이고 변동성이 큰 특성, 즉 색상과 형태의 변화를 처리할 수 있도록 아키텍처를 설계한다.
• 실제 세계의 다양한 모리 영향을 받은 이미지를 포함한 NTIRE 2020 챌린지 데이터셋에서 모델을 평가한다.

실험 결과

연구 질문

• RQ1 카메라 위치 변화에 따라 크게 변하고 복잡한 색상 및 구조적 변형을 보이는 모리 패턴을 효과적으로 복원할 수 있는 딥 러닝 모델은 가능한가?
• RQ2 다중 네트워크 수준에서 유도된 계층적 특징을 어떻게 적응적으로 융합하여 모리 패턴 억제 및 이미지 품질 향상을 달성할 수 있는가?
• RQ3 잔차 채널 주의를 통합할 경우, 표준 합성곱 신경망에 비해 고주파 모리 아티팩트 복원 성능은 어느 정도 향상되는가?
• RQ4 제안된 다중 수준 아키텍처는 다양한 패턴과 노이즈 수준을 갖는 실제 세계의 모리 영향을 받은 이미지에 대해 잘 일반화되는가?

주요 결과

• 제안된 방법은 NTIRE 2020 챌린지 데이터셋에서 PSNR 36.85를 기록하여 높은 복원 정확도를 보였다.
• 모델은 SSIM 점수 0.98를 확보하여 복원된 이미지에서 구조적 유사성의 강력한 유지 능력을 보였다.
• 잔차 채널 주의 블록의 통합은 다양한 모리 패턴에서 특징 표현과 아티팩트 억제 능력을 크게 향상시켰다.
• 다중 수준 특징 융합 메커니즘은 국소적 및 전역적 패턴을 효과적으로 포착하여 복원 일관성을 향상시켰다.
• NTIRE 2020 벤치마크에서 베이스라인 방법들을 능가하며, 모리 이미지 복원 분야에서 새로운 최고 기록을 수립했다.