[논문 리뷰] Global Guarantees for Blind Demodulation with Generative Priors

Paul Hand, Babhru Joshi|arXiv (Cornell University)|2019. 01. 01.

Sparse and Compressive Sensing Techniques인용 수 9

한 줄 요약

이 논문은 생성적 사전을 사용한 블라인드 디모듈레이션을 위한 딥러닝 기반 접근법을 제안하며, 알려지지 않은 신호가 확장형 생성 모델의 범위에 있을 경우, 경험적 리스크 목적 함수가 임계점이 네 개의 쌍곡선으로만 존재하는 유리한 최적화 경로를 가짐을 보여준다. 이는 이러한 곡선의 고유한 구조를 활용해 경사하강법이 전역 최소화점을 수렴할 수 있음을 시사하며, MNIST 이미지에서 합성된 왜곡을 성공적으로 제거함을 보여준다.

ABSTRACT

We study a deep learning inspired formulation for the blind demodulation problem, which is the task of recovering two unknown vectors from their entrywise multiplication. We consider the case where the unknown vectors are in the range of known deep generative models, $\mathcal{G}^{(1)}:\mathbb{R}^n ightarrow\mathbb{R}^\ell$ and $\mathcal{G}^{(2)}:\mathbb{R}^p ightarrow\mathbb{R}^\ell$. In the case when the networks corresponding to the generative models are expansive, the weight matrices are random and the dimension of the unknown vectors satisfy $\ell = \Omega(n^2+p^2)$, up to log factors, we show that the empirical risk objective has a favorable landscape for optimization. That is, the objective function has a descent direction at every point outside of a small neighborhood around four hyperbolic curves. We also characterize the local maximizers of the empirical risk objective and, hence, show that there does not exist any other stationary points outside of these neighborhood around four hyperbolic curves and the set of local maximizers. We also implement a gradient descent scheme inspired by the geometry of the landscape of the objective function. In order to converge to a global minimizer, this gradient descent scheme exploits the fact that exactly one of the hyperbolic curve corresponds to the global minimizer, and thus points near this hyperbolic curve have a lower objective value than points close to the other spurious hyperbolic curves. We show that this gradient descent scheme can effectively remove distortions synthetically introduced to the MNIST dataset.

연구 동기 및 목표

• 두 알려지지 않은 벡터를 그들의 원소별 곱으로부터 복원하는 블라인드 디모듈레이션 문제를 해결하기 위해 딥 생성 사전을 활용한다.
• 생성 모델 제약 조건 하에서 경험적 리스크 목적 함수의 최적화 경로를 분석한다.
• 목적 함수가 네 개의 쌍곡선 근처를 제외하고는 허위 국소 최소값이 존재하지 않는 조건을 확립한다.
• 진정한 해를 허위 임계점에서 구별함으로써 전역 최소화점을 향해 수렴하는 경사하강법을 개발한다.
• MNIST 데이터셋에서의 합성 왜곡에 대해 방법을 검증한다.

제안 방법

• 두 개의 딥 생성 모델 G^(1): R^n → R^ℓ 과 G^(2): R^p → R^ℓ 의 잠재 코드 위에서 블라인드 디모듈레이션을 최적화 문제로 공식화한다.
• 랜덤 가중치 행렬을 갖는 확장형 네트워크를 가정하며, ℓ = Ω(n² + p²)의 신호 차원을 확보함으로써 유리한 경로 성질을 보장한다 (로그 인자까지).
• 경험적 리스크 목적 함수를 분석하고, 네 개의 쌍곡선 주변의 이웃을 제외한 모든 점에서 내림내림 방향이 존재함을 증명한다.
• 목적 함수의 국소 최대값을 식별하고, 이들이 네 개의 쌍곡선 외에는 유일한 다른 정류점임을 보여준다.
• 네 개의 쌍곡선 중 오직 하나만 전역 최소화점에 해당함을 이용해, 경사하강법을 통해 진정한 해로 수렴하도록 설계한다.
• 네 개의 쌍곡선 주변 이웃의 목적 함수 값 차이를 이용해 진정한 해로의 수렴을 이끌어내는 데 활용한다.

실험 결과

연구 질문

• RQ1 생성 모델과 신호 차원에 대해 경험적 리스크 목적 함수가 유리한 최적화 경로를 가지는 조건는 무엇인가?
• RQ2 생성 사전이 있는 블라인드 디모듈레이션 설정에서 경험적 리스크 목적 함수의 임계점의 구조는 어떠한가?
• RQ3 허위 임계점이 존재하는 상황에서도 경사하강법이 전역 최소화점으로 수렴할 수 있는가?
• RQ4 목적 함수 경로의 기하학적 구조는 어떻게 활용되어 진정한 해를 허위 해에서 구별할 수 있는가?
• RQ5 제안된 방법은 실제 데이터인 MNIST와 같은 실세계 데이터에서 합성 왜곡을 효과적으로 제거할 수 있는가?

주요 결과

• 경험적 리스크 목적 함수는 네 개의 쌍곡선 주변의 작은 이웃을 제외한 모든 점에서 내림내림 방향을 가지며, 이는 다른 곳에 허위 국소 최소값이 존재하지 않음을 보장한다.
• 목적 함수의 유일한 정류점은 네 개의 쌍곡선 주변의 점들과 국소 최대값 집합뿐이며, 이들은 명시적으로 특성화되어 있다.
• 네 개의 쌍곡선 중 정확히 하나만 전역 최소화점에 해당하므로, 목적 함수 값의 차이를 이용해 경사하강법이 진정한 해로 수렴할 수 있다.
• 제안된 경사하강법은 MNIST 데이터셋에서 합성적으로 도입된 왜곡을 성공적으로 제거하여 실용적 효과를 입증한다.
• 생성 모델이 확장형이며, 가중치가 랜덤이고, 신호 차원 ℓ가 ℓ = Ω(n² + p²)를 충족할 경우, 유리한 최적화 경로가 보장된다 (로그 인자까지).