[논문 리뷰] Phase Retrieval using Expectation Consistent Signal Recovery Algorithm based on Hypernetwork

Chang-Jen Wang, Chao-Kai Wen외 4명|arXiv (Cornell University)|2021. 01. 12.

Advanced X-ray Imaging Techniques참고 문헌 73인용 수 11

한 줄 요약

이 논문은 일반화된 기대일致 신호 복원(GEC-SR) 알고리즘에서 감쇠 인자를 생성하기 위해 초네트워크를 사용하는 동적이고 적응형 딥 언폴딩 프레임워크를 제안한다. 순환형 초네트워크와 자기주의 주의(self-attention)를 통합함으로써, 다양한 측정 조건과 반복 횟수에서 뛰어난 수렴 속도, 강건성, 적응 가능성 확보를 달성하였으며, 특히 과도하거나 불일치하는 설정 조건에서 기존 최첨단 방법들을 능가한다.

ABSTRACT

Phase retrieval (PR) is an important component in modern computational imaging systems. Many algorithms have been developed over the past half-century. Recent advances in deep learning have introduced new possibilities for a robust and fast PR. An emerging technique called deep unfolding provides a systematic connection between conventional model-based iterative algorithms and modern data-based deep learning. Unfolded algorithms, which are powered by data learning, have shown remarkable performance and convergence speed improvement over original algorithms. Despite their potential, most existing unfolded algorithms are strictly confined to a fixed number of iterations when layer-dependent parameters are used. In this study, we develop a novel framework for deep unfolding to overcome existing limitations. Our development is based on an unfolded generalized expectation consistent signal recovery (GEC-SR) algorithm, wherein damping factors are left for data-driven learning. In particular, we introduce a hypernetwork to generate the damping factors for GEC-SR. Instead of learning a set of optimal damping factors directly, the hypernetwork learns how to generate the optimal damping factors according to the clinical settings, thereby ensuring its adaptivity to different scenarios. To enable the hypernetwork to adapt to varying layer numbers, we use a recurrent architecture to develop a dynamic hypernetwork that generates a damping factor that can vary online across layers. We also exploit a self-attention mechanism to enhance the robustness of the hypernetwork. Extensive experiments show that the proposed algorithm outperforms existing ones in terms of convergence speed and accuracy and still works well under very harsh settings, even under which many classical PR algorithms are unstable.

연구 동기 및 목표

• 단일 반복 횟수 및 비적응형 언폴딩 알고리즘의 한계를 해결하기 위해.
• 재학습 없이도 다양한 전방 모델, 노이즈 수준, 측정 크기에 걸쳐 학습된 파rameter가 일반화될 수 있도록 하기 위해.
• 변동 가능한 반복 횟수를 지원하면서도 성능을 유지할 수 있는 유연한 아키텍처 개발을 위해.
• 이진 측정 행렬 또는 낮은 신호 대 잡음비(SNR)와 같은 불일치하는 분포 조건에서도 강건성을 향상시키기 위해.
• 데이터 기반 감쇠 인자 생성을 통해 GEC-SR 알고리즘의 적응성과 안정성을 향상시키기 위해.

제안 방법

• GEC-SR 알고리즘의 감쇠 인자를 직접 학습하는 대신, 감쇠 인자를 생성하는 초네트워크를 도입한다.
• 순환 아키텍처(GEC-SR-HyperGRU)를 통해 레이어 간 동적으로 변화하는 감쇠 인자를 실시간으로 생성함으로써, 변동 가능한 반복 횟수를 지원한다.
• 초네트워크에 자기주의 주의 메커니즘을 통합하여 다양한 입력 시나리오에서 특징 표현과 강건성을 향상시킨다.
• GEC-SR의 원래 수학적 함수는 그대로 유지하나, 감쇠 인자만 초네트워크에 의해 생성된 학습 가능한 파rameter로 대체한다.
• 다양한 전방 모델 데이터를 사용해 엔드 투 엔드로 초네트워크를 훈련함으로써, 미사용 설정으로의 일반화를 가능하게 한다.
• 가우시안 및 이진 측정 행렬을 포함한 다양한 조건에서 합성 및 실제 영상 복원에 대해 평가한다.

실험 결과

연구 질문

• RQ1 초네트워크를 사용해 언폴딩된 GEC-SR 알고리즘에서 감쇠 인자를 생성함으로써 다양한 영상 시나리오에 대한 적응성을 향상시킬 수 있는가?
• RQ2 순환형 초네트워크 아키텍처는 어떻게 변동 가능한 반복 횟수에 걸쳐 동적 감쇠 인자를 생성하는가?
• RQ3 초네트워크 내 자기주의 주의는 분포 이동 조건에서 강건성을 얼마나 향상시키는가?
• RQ4 기존 최첨단 단계 복원 알고리즘과 비교할 때, 제안된 방법은 수렴 속도와 정확도 측면에서 어떻게 성능을 내는가?
• RQ5 불일치하거나 과도한 조건에 적용했을 때 재학습 없이도 성능을 유지할 수 있는가?

주요 결과

• SNR=15 dB 조건에서 50×50 미소면의 이미지에 대해 GEC-SR-HyperGRU는 −21.07 dB의 재구성 MSE를 달성하였으며, GEC-SR-Net(−13.59 dB)보다 뚜렷이 뛰어난 성능을 보였다.
• 이진 측정 행렬 조건에서 GEC-SR-HyperGRU는 안정적인 수렴을 유지하였고, M/N = 2.5에서 단 10회의 반복만으로도 −15 dB MSE를 달성하였으며, 동일 조건에서 GEC-SR-Net은 오직 −9 dB에 머물렀다.
• 희박한 신호(ρ=0.2) 조건에서 GEC-SR-HyperGRU는 GEC-SR-HyperNet을 능가하여 동적이고 상태 인식 기반 감쇠 인자 조정의 우수성을 입증하였다.
• 저신호 대 잡음비 및 고희박도 영역에서 GEC-SR-HyperGRU는 재학습 없이도 뛰어난 강건성과 높은 성능 유지를 보였으며, 불일치하는 분포 조건에서도 안정성을 유지하였다.
• 특히 이진 변환 행렬 및 낮은 측정 비율 조건에서 prVAMP 및 GEC-SR-Net보다 더 빠른 수렴 속도와 더 뛰어난 안정성을 확보하였다.
• 초네트워크 기반 접근은 다양한 측정 비율(R=M/N)에 대해 잘 일반화되었으며, 테스트된 모든 R 값에서 GEC-SR-HyperGRU가 최고의 MSE 성능를 기록하였다.