[논문 리뷰] Learning to synthesize: splitting and recombining low and high spatial frequencies for image recovery

Mo Deng, Shuai Li외 1명|arXiv (Cornell University)|2018. 11. 19.

Digital Holography and Microscopy참고 문헌 39인용 수 12

한 줄 요약

이 논문은 두 개의 전용 DNN와 제3의 융합 DNN를 사용하여 저주파수 및 고주파수 성분을 별도로 처리하는 딥러닝 프레임워크인 LS-DNN을 제안한다. 이는 주어진 전방 연산자에 의한 고주파수 성분의 억제와 학습 데이터에서 고주파수 성분의 부족함으로 인한 불균형을 보완함으로써 초해상도 및 위상 복원과 같은 이미지 복원 작업에서 뛰어난 시각적 품질을 달성한다.

ABSTRACT

Deep Neural Network (DNN)-based image reconstruction, despite many successes, often exhibits uneven fidelity between high and low spatial frequency bands. In this paper we propose the Learning Synthesis by DNN (LS-DNN) approach where two DNNs process the low and high spatial frequencies, respectively, and, improving over [30], the two DNNs are trained separately and a third DNN combines them into an image with high fidelity at all bands. We demonstrate LS-DNN in two canonical inverse problems: super-resolution (SR) in diffraction-limited imaging (DLI), and quantitative phase retrieval (QPR). Our results also show comparable or improved performance over perceptual-loss based SR [21], and can be generalized to a wider range of image recovery problems.

연구 동기 및 목표

• 학습 데이터에서 고주파수 성분이 부족하고 전방 연산자가 고주파수 성분을 억제하는 경우, 딥러닝 기반 이미지 복원에서 발생하는 불균형을 해결한다.
• ImageNet과 같은 데이터셋에서 저주파수 사전 지식의 지배로 인해 표준 DNN가 미세한 세부 정보를 복원하지 못하는 문제를 극복한다.
• 저주파수 및 고주파수 복원 결과를 적응적으로 융합하여 전반적인 구조와 미세한 질감을 모두 복원할 수 있는 방법을 개발한다.
• 초해상도 및 렌즈리스 양자 위상 복원과 같은 전형적인 역문제에 대해 본 방법을 적용한다.
• 정량적 지표인 PSNR가 낮을지라도 최신의 퍼셉추얼 손실 및 DualCNN 기반 방법보다 뛰어난 시각적 품질을 달성한다.

제안 방법

• 주파수 도메인 분해를 통해 입력 신호를 저주파수(LF) 및 고주파수(HF) 대역으로 분리한다.
• 저주파수 성분을 원본 학습 예제에서 재구성하기 위해 저대역 DNN(DNN-L)를 훈련시켜 자연스러운 저주파수 통계를 유지한다.
• 고주파수 성분을 고역통과 필터를 거친 예제에서 재구성하기 위해 고대역 DNN(DNN-H)를 훈련시켜 데이터셋 내 고주파수 성분의 희소성에 대비한다.
• DNN-L 및 DNN-H 출력물의 최적 융합을 학습하기 위해 제3의 DNN(DNN-S)를 사용하여 최종 이미지의 스펙트럼 내용이 균형을 이루도록 보장한다.
• DNN-H의 학습을 위해 훈련 데이터에 주파수 사전 조절(pre-modulation)을 적용하여 고주파수 학습을 향상시키되, 잡음이나 레이저링을 유발하지 않는다.
• 픽셀 단위의 손실 함수를 사용하여 세 개의 네트워크를 엔드 투 엔드로 훈련시켜 융합 및 재구성 정확도를 공동 최적화한다.

실험 결과

연구 질문

• RQ1 학습 데이터에서 고주파수 성분이 희소할 경우, DNN 내에서 저주파수 및 고주파수 처리를 분리하면 이미지 복원 정확도가 향상되는가?
• RQ2 학습된 융합 네트워크(DNN-S)가 전반적인 구조와 세부 정보를 모두 복원하기 위해 스펙트럼 내용을 효과적으로 재균형화하는가?
• RQ3 초해상도 작업에서 LS-DNN은 퍼셉추얼 손실 기반 방법에 비해 시각적 품질에서 어떻게 우월한가?
• RQ4 LS-DNN은 더 높은 시각적 현실감과 낮은 잡음 수준을 유지하면서 DualCNN을 능가하는 이미지 복원 성능을 보이는가?
• RQ5 훈련 데이터의 주파수 도메인 사전 처리가 잡음이나 레이저링을 유발하지 않으면서 고주파수 복원 성능을 얼마나 향상시키는가?

주요 결과

• PSNR가 낮을지라도 LS-DNN는 퍼셉추얼 손실 기반 방법에 비해 초해상도 및 양자 위상 복원 작업에서 더 뛰어난 시각적 복원 품질을 달성한다.
• DNN-S 융합 네트워크는 모든 주파수 성분에서 지표력 스펙트럼 밀도(PSD) 프로파일이 실제값과 유사하게 나타나며, DNN-L 및 DNN-H 각각의 성능을 초월한다.
• 4배 초해상도에서 LS-DNN는 PSNR가 더 낮은 DualCNN(24.57 대비 22.42)임에도 불구하고 더 선명한 이미지와 더 나은 세부 질감 유지 능력을 보인다.
• 이 방법은 회절 한계 영상에서 전방 연산자의 하드 커파트로 인한 고주파수 성분 손실을 효과적으로 완화한다.
• 스펙트럼 사전 조절만을 사용한 경우에 비해 LS-DNN를 사용한 복원 결과는 고주파수 잡음이 감소하여 DNN-S에 의한 균형 조절이 효과적임을 시사한다.
• 전방 연산자가 고주파수 성분을 억제하고 학습 데이터에 고주파수 성분이 부족한 다양한 역문제에 대해 본 방법은 잘 일반화된다.