[논문 리뷰] Robust compressed sensing of generative models.

Ajil Jalal, Liu Liu외 2명|arXiv (Cornell University)|2020. 06. 16.

Sparse and Compressive Sensing Techniques참고 문헌 71인용 수 8

한 줄 요약

이 논문은 깊이 있는 생성 모델을 사전으로 사용하여, 극단적으로 꼬인 또는 손상된 측정치가 존재하는 상황에서도 고차원 신호를 신뢰성 있게 복원할 수 있는 강건한 압축 측정 기반 알고리즘을 제안한다. 이 알고리즘은 서브-가우시안 조건 하에서 경험적 리스크 최소화(Empirical Risk Minimization, ERM)와 동일한 샘플 복잡도를 달성하면서도 이상치에 대한 강건성을 유지한다.

ABSTRACT

The goal of compressed sensing is to estimate a high dimensional vector from an underdetermined system of noisy linear equations. In analogy to classical compressed sensing, here we assume a generative model as a prior, that is, we assume the vector is represented by a deep generative model $G: \mathbb{R}^k ightarrow \mathbb{R}^n$. Classical recovery approaches such as empirical risk minimization (ERM) are guaranteed to succeed when the measurement matrix is sub-Gaussian. However, when the measurement matrix and measurements are heavy-tailed or have outliers, recovery may fail dramatically. In this paper we propose an algorithm inspired by the Median-of-Means (MOM). Our algorithm guarantees recovery for heavy-tailed data, even in the presence of outliers. Theoretically, our results show our novel MOM-based algorithm enjoys the same sample complexity guarantees as ERM under sub-Gaussian assumptions. Our experiments validate both aspects of our claims: other algorithms are indeed fragile and fail under heavy-tailed and/or corrupted data, while our approach exhibits the predicted robustness.

연구 동기 및 목표

• 측정치가 꼬인 분포이거나 이상치를 포함할 경우 전통적인 압축 측정 기법의 취약성을 해결하기 위해.
• 비-서브-가우시안 측정 노이즈 및 손상된 데이터 조건에서도 성능을 유지할 수 있는 복원 알고리즘을 개발하기 위해.
• 극단적으로 꼬인 및 손상된 데이터 하에서 생성 모델 사전을 활용한 강건한 복원에 대한 이론적 보장을 제공하기 위해.
• 이상치에 대한 강건성을 확보하면서도 경험적 리스크 최소화(ERM)와 동일한 샘플 복잡도를 달성하기 위해.

제안 방법

• 이 방법은 극단적으로 꼬인 또는 손상된 측정치에 대한 민감도를 줄이기 위해 중앙값의 평균(MOM) 프레임워크를 활용한다.
• 측정 데이터를 여러 하위집단으로 분할하고, 이상치의 영향을 완화하기 위해 중앙값 기반 손실 추정치를 계산한다.
• 알고리즘은 깊이 있는 생성 모델 $ G: \mathbb{R}^k \to \mathbb{R}^n $ 의 잠재 공간에서 MOM 기반 경험적 리스크 목표를 최적화한다.
• 이론적 분석을 통해 서브-가우시안 조건 하에서 ERM와 동일한 샘플 복잡도를 달성하는 것으로 나타났다.
• 이 접근법은 생성 모델 사전을 활용하여 암묵 차원보다 더 적은 측정치로도 복원을 가능하게 한다.

실험 결과

연구 질문

• RQ1 압축 측정 알고리즘이 극단적으로 꼬인 측정 노이즈 하에서도 복원 정확도를 유지할 수 있는가?
• RQ2 제안된 MOM 기반 방법이 서브-가우시안 조건 하에서 ERM와 동일한 샘플 복잡도를 달성하는가?
• RQ3 기존의 ERM 기반 접근법과 비교해 복원 성능이 이상치 존재 시 어떻게 변화하는가?
• RQ4 측정치가 손상되었을 경우에도 생성 모델이 효과적으로 강건한 신호 복원에 활용될 수 있는가?

주요 결과

• 제안된 MOM 기반 알고리즘은 측정치가 극단적으로 꼬이거나 이상치를 포함하는 경우에도 부족한 시스템에서 신호를 성공적으로 복원한다.
• 서브-가우시안 조건 하에서 경험적 리스크 최소화(ERM)와 동일한 샘플 복잡도를 달성하여 이론적 효율성을 확보한다.
• 실험 결과는 기존의 ERM 기반 방법이 극단적으로 꼬인 또는 손상된 데이터에서 실패하는 반면, 제안된 방법은 강건성을 유지함을 확인한다.
• 다양한 수준의 손상 및 극단적으로 꼬인 노이즈 하에서도 일관된 성능을 보이는 것으로 실험 결과를 통해 알고리즘의 강건성이 검증되었다.