[논문 리뷰] Unfolded Algorithms for Deep Phase Retrieval

Naveed Naimipour, Shahin Khobahi외 1명|arXiv (Cornell University)|2020. 12. 21.

Advanced X-ray Imaging Techniques참고 문헌 62인용 수 8

한 줄 요약

이 논문은 IRWF와 SPARTA와 같은 반복 알고리즘을 신경망으로 전개하는 방식으로, 모델 기반과 데이터 기반의 딥러닝 프레임워크인 Unfolded Phase Retrieval (UPR)을 제안한다. 감지 행렬과 전처리 레이어를 함께 학습함으로써 UPR은 기존의 최상위 모델 기반 및 데이터 기반 방법들보다 더 빠른 수렴 속도와 뛰어난 복원 성능을 달성하며, 특히 샘플 수가 적은 상황과 희박한 신호에서 유의미한 성능 향상을 보인다.

ABSTRACT

Exploring the idea of phase retrieval has been intriguing researchers for decades, due to its appearance in a wide range of applications. The task of a phase retrieval algorithm is typically to recover a signal from linear phaseless measurements. In this paper, we approach the problem by proposing a hybrid model-based data-driven deep architecture, referred to as Unfolded Phase Retrieval (UPR), that exhibits significant potential in improving the performance of state-of-the art data-driven and model-based phase retrieval algorithms. The proposed method benefits from versatility and interpretability of well-established model-based algorithms, while simultaneously benefiting from the expressive power of deep neural networks. In particular, our proposed model-based deep architecture is applied to the conventional phase retrieval problem (via the incremental reshaped Wirtinger flow algorithm) and the sparse phase retrieval problem (via the sparse truncated amplitude flow algorithm), showing immense promise in both cases. Furthermore, we consider a joint design of the sensing matrix and the signal processing algorithm and utilize the deep unfolding technique in the process. Our numerical results illustrate the effectiveness of such hybrid model-based and data-driven frameworks and showcase the untapped potential of data-aided methodologies to enhance the existing phase retrieval algorithms.

연구 동기 및 목표

• 기존의 모델 기반 및 데이터 기반 단백질 복원 알고리즘의 한계, 특히 수렴 속도, 노이즈에 대한 강건성, 하이퍼파rameter 민감도 문제를 해결하기 위해.
• 모델 기반 방법의 해석 가능성과 딥러닝의 표현 능력을 조합한 하이브리드 아키텍처를 개발하여 성능 향상을 도모하기 위해.
• 딥 언폴딩을 통해 감지 행렬과 신호 복원 알고리즘을 함께 최적화함으로써 작업에 특화된 데이터에 대한 적응성을 향상시키기 위해.
• 학습된 전처리 행렬과 작업에 특화된 감지 행렬이 수렴 속도를 크게 향상시키고 경험적 성공률를 향상시킬 수 있음을 입증하기 위해.

제안 방법

• UPR 프레임워크는 모델 기반 단백질 복원 알고리즘의 반복 단계—특히 일반 단백질 복원을 위한 IRWF와 희박한 단백질 복원을 위한 SPARTA—를 딥 신경망 아키텍처로 전개한다.
• 신경망의 각 레이어는 원래 알고리즘의 한 반복 단계에 해당하며, 단계 크기와 임계값과 같은 고정된 알고리즘 구성 요소가 학습 가능한 파라미터로 대체된다.
• 감지 행렬 A는 학습 중에 함께 최적화되며, 이로써 네트워크는 신호 복원 가능성을 향상시키는 작업에 특화된 측정 행렬을 학습할 수 있다.
• 각 레이어에 대해 전처리 행렬 {Gi}를 도입하여 기울기를 적응적으로 스케일링함으로써 수렴 동역학을 향상시키고 반복 횟수를 줄인다.
• 합성 데이터를 활용하여 복원 오차 기반의 지도 학습 손실 함수를 사용해 네트워크를 엔드 투 엔드로 학습시킨다.
• 모델 기반 구조 덕분에 순차적 레이어 분석이 가능하여 순수 데이터 기반 블랙박스 네트워크에서는 불가능한 수렴 분석이 가능하다.

실험 결과

연구 질문

• RQ1 모델 기반과 데이터 기반의 하이브리드 딥러닝 프레임워크가 단백질 복원 알고리즘의 경험적 성공률와 수렴 속도를 향상시킬 수 있는가?
• RQ2 감지 행렬과 전처리 레이어를 학습시킬 경우, 일반적이고 희박한 단백질 복원에서 성능 향상 정도는 어느 정도인가?
• RQ3 UPR 프레임워크는 IRWF와 SPARTA와 같은 최상위 모델 기반 알고리즘과 비교해 복원 정확도와 강건성 측면에서 어떻게 다른가?
• RQ4 데이터 기반 학습을 통해 성능 향상을 달성하면서도 모델 기반 방법의 해석 가능성은 유지될 수 있는가?

주요 결과

• 감지 행렬과 전처리 행렬을 함께 학습한 UPR(사례 4)는 모든 측정 비율(m/n)에서 가장 높은 경험적 성공률를 기록했으며, 기준선인 IRWF를 크게 능가했다.
• 감지 행렬을 고정한 사례 3에서는 전처리 행렬만 학습함으로써 더 빠른 수렴과 향상된 복원 성능를 달성했으며, 이는 적응적인 계층별 스케일링의 가치를 입증했다.
• UPR-IRWF는 최소 30개의 레이어 내에서 최적 성능에 수렴하여, 정확도 손실이 최소한인 실시간 또는 대규모 응용에 적합한 단순화가 가능함을 시사했다.
• 감지 행렬을 학습한 사례 2에서는 고정된 단계 크기 조건에서도 UPR-IRWF가 뛰어난 성능를 기록했으며, 이는 작업에 특화된 측정 행렬이 강건성을 향상시킨다는 것을 보여주었다.
• 레이어별 상대적 MSE 분석 결과, UPR는 표준 IRWF보다 더 빠른 수렴 속도를 보였으며, 반복 횟수에 따라 오차가 더 급격히 감소하는 경향을 확인했다.