[논문 리뷰] Deep S$^3$PR: Simultaneous Source Separation and Phase Retrieval Using Deep Generative Models

Christopher A. Metzler, Gordon Wetzstein|arXiv (Cornell University)|2020. 02. 13.

Underwater Acoustics Research인용 수 4

한 줄 요약

이 논문은 사전 훈련된 생성 모델을 사전 지식으로 활용하여 동시에 다수의 소스를 분리하고 위상 정보를 복원하는 S³PR 문제를 해결하는 새로운 방법인 Deep S³PR을 제안한다. 소스 신호를 사전 훈련된 생성기의 잠재 공간에 제약함으로써, 고도로 결정되지 않은 비볼록 문제인 S³PR 문제를 잠재 변수 최적화를 통해 효율적으로 해결하며, 가우스, CDP, 푸리에 전진 모델 모두에서 강도만으로 측정된 다수의 이미지를 안정적으로 복원한다.

ABSTRACT

This paper introduces and solves the simultaneous source separation and phase retrieval (S$^3$PR) problem. S$^3$PR is an important but largely unsolved problem in a number application domains, including microscopy, wireless communication, and imaging through scattering media, where one has multiple independent coherent sources whose phase is difficult to measure. In general, S$^3$PR is highly under-determined, non-convex, and difficult to solve. In this work, we demonstrate that by restricting the solutions to lie in the range of a deep generative model, we can constrain the search space sufficiently to solve S$^3$PR.

연구 동기 및 목표

• 산산이 흩어지는 매질 영상 및 간섭성 현미경과 같은 응용 분야에서 매우 결정되지 않은 비볼록 문제인 동시에 다수의 소스 분리 및 위상 복원(S³PR) 문제를 수학적으로 정의하고 해결하는 것.
• 다른 소스에서 유래한 강도 성분이 매우 유사하기 때문에, 소스 분리 후 위상 복원의 순차적 접근 방식이 실패하는 문제를 해결하는 것.
• 딥 생성 모델이 솔루션 공간을 충분히 제약하여 안정적이고 정확한 S³PR 복원을 가능하게 하는 강력하고 현실적인 사전 지식을 제공함을 보여주는 것.
• 재훈련 없이도 다양한 전진 모델(Gaussian, CDP, Fourier)과 혼합 크기에 일반화되는 솔루션을 제공하는 것.
• 산란 매질 및 시야 외부 영상과 같은 분야에서 향후 물리적 검증을 위한 기반을 마련하는 것.

제안 방법

• 딥 생성 모델 G: R^k → R^n (k ≪ n)의 잠재 코드에 대한 최적화로 S³PR 문제를 수식화하여, x_l = G(z_l) 형태의 신호를 복원한다.
• 잠재 변수 z_1, ..., z_L에 대한 교대 강하를 사용하여 데이터 적합성 손실 ||y - ∑_l |A G(z_l)|²||²₂를 최소화함으로써 문제를 해결한다.
• 푸리에 측정에 대해서는 파르세발 정리를 활용해 푸리에 도메인으로 재구성함으로써 수렴성을 향상시킨다: ||F⁻¹y - ∑_l G(z_l) ⋆ G(z_l)||²₂.
• 사전 훈련된 생성 모델의 인덕티브 바이어스(예: MNIST 및 Fashion-MNIST 데이터셋 기반)를 활용해 솔루션 공간을 정규화하고 국소 최적해를 피한다.
• 이 방법은 전진 모델에 의존하지 않으며, 아키텍처 변경 없이도 강도 측정, CDP, 푸리에 측정 등 다양한 측정 유형에 일반화된다.
• 최적화는 임의의 잠재 코드로 초기화하고, 기울기 하강법을 반복적으로 적용하여 개선한다.

실험 결과

연구 질문

• RQ1 딥 생성 모델이 매우 결정되지 않은 비볼록 S³PR 문제를 효과적으로 해결하는 데 유용한 사전 지식이 될 수 있는가?
• RQ2 생성 모델의 범위에 솔루션을 제약함으로써, 강도만으로 측정된 다수의 간섭성 소스를 신뢰성 있게 분리할 수 있는가?
• RQ3 다양한 측정 모델과 노이즈 수준에서, Deep S³PR이 순차적 소스 분리 및 위상 복원(USS + PR) 기반 방법보다 성능가능성이 높은가?
• RQ4 Gaussian, CDP, 푸리에 등의 전진 모델과 MNIST, Fashion-MNIST 등의 데이터셋 유형 간에 이 방법이 얼마나 일반화되는가?
• RQ5 다양한 혼합 크기와 신호 대 잡음비(SNR) 조건에서, 복원 정확도의 정량적 한계(NMSE 기준)는 어느 정도인가?

주요 결과

• 모든 측정 모델에서 Deep S³PR은 순차적 USS + PR 기반 기준보다 유의미하게 낮은 NMSE를 기록하며, 가우스 측정 조건에서 2× MNIST의 경우 평균 2.5배 향상되었다.
• 푸리에 측정 조건에서는 네 개의 MNIST 이미지를 복원할 때 Deep S³PR의 평균 NMSE가 0.28 ± 0.06이었고, USS + PR은 0.87 ± 0.12였으며, 이는 실제 응용 환경에서의 뛰어난 안정성을 보여준다.
• 푸리에 측정 조건에서 두 개의 소스로 Fashion-MNIST 이미지의 일반적인 형태를 성공적으로 복원했지만, 혼합 수가 증가할수록 잡음이 발생했다.
• CDP 측정 조건에서는 네 개의 이미지 혼합 조건에서도 저오차(NMSE ≈ 0.14–0.28)를 유지했으며, 순차적 접근 방식은 이미 두 개의 이미지에서 실패했다.
• 특히 푸리에 측정 조건에서 자동상관 함수를 활용해 손실을 푸리에 도메인으로 재구성함으로써 수렴성과 안정성이 향상됨을 경험적으로 확인했다.
• 실험 결과에 따르면, 순차적 USS + PR 접근 방식은 푸리에 측정 조건에서 두 개의 이미지 조건에서도 실패하는 반면, Deep S³PR은 네 개의 이미지까지 효과적으로 작동함을 입증했다.