[논문 리뷰] Robust Compressed Sensing using Generative Models

Ajil Jalal, Liu Liu외 2명|arXiv (Cornell University)|2020. 06. 16.

Sparse and Compressive Sensing Techniques인용 수 6

한 줄 요약

이 논문은 생성 모델을 사용하는 강건한 압축 측정 알고리즘을 제안하며, 표준 경험적 리스크 최소화(Empirical Risk Minimization, ERM)를 중앙값의 평균(Median-of-Means, MOM) 손실로 대체하여 측정값과 측정 행렬에서 무거운 尾비(heavy-tailed) 노이즈와 임의의 이상치가 존재하는 상황에서도 복원이 보장되도록 한다. 이 방법은 하위가우시안 가정 하에서 ERM와 동일한 샘플 복잡도 $m = O(kd\log n)$ 를 확보하면서도, Restricted Eigenvalue Condition이 더 이상 성립하지 않을 경우에도 강건성을 유지한다.

ABSTRACT

The goal of compressed sensing is to estimate a high dimensional vector from an underdetermined system of noisy linear equations. In analogy to classical compressed sensing, here we assume a generative model as a prior, that is, we assume the vector is represented by a deep generative model $G: \mathbb{R}^k ightarrow \mathbb{R}^n$. Classical recovery approaches such as empirical risk minimization (ERM) are guaranteed to succeed when the measurement matrix is sub-Gaussian. However, when the measurement matrix and measurements are heavy-tailed or have outliers, recovery may fail dramatically. In this paper we propose an algorithm inspired by the Median-of-Means (MOM). Our algorithm guarantees recovery for heavy-tailed data, even in the presence of outliers. Theoretically, our results show our novel MOM-based algorithm enjoys the same sample complexity guarantees as ERM under sub-Gaussian assumptions. Our experiments validate both aspects of our claims: other algorithms are indeed fragile and fail under heavy-tailed and/or corrupted data, while our approach exhibits the predicted robustness.

연구 동기 및 목표

• 측정값 또는 측정 행렬이 중앙값의 평균 노이즈를 띠거나 이상치에 의해 손상될 경우 기존의 생성 모델 기반 압축 측정 방법의 취약성을 해결하기 위해.
• 약한 모멘트 가정 하에서도 이론적 보장을 유지하는 ERM의 강건한 대체 방법을 개발하기 위해.
• 하위가우시안 가정 하에서 ERM와 동일한 샘플 복잡도를 확보하면서도, 중앙값의 평균 노이즈와 악성 조작에 저항할 수 있도록 하기 위해.
• 제안된 MOM 기반 알고리즘이 중앙값의 평균 노이즈와 손상된 데이터 상황에서 재구성 오차 측면에서 ERM보다 뛰어나다는 것을 경험적으로 검증하기 위해.

제안 방법

• 이상치와 중앙값의 평균 분포에 민감도가 낮아지도록 표준 ERM를 중심값의 평균(MOM) 손실 함수로 대체한다.
• A와 y에 임의의 손상이 존재하는 상황에서도 강건성을 확보하기 위해 MOM 토너먼트를 영감으로 삼은 최소-최대 최적화 프레임워크를 사용한다.
• Set Restricted Eigenvalue Condition(S-REC)에 의존하지 않는 새로운 분석적 접근 방식을 적용하여, 비하위가우시안 가정 하에서 S-REC가 실패하는 경우에도 안정성을 확보한다.
• 모르는 신호 $x^*$의 사전 정보로 $G: \mathbb{R}^k \to \mathbb{R}^n$ 의 깊이 있는 생성 모델을 사용하며, ReLU 활성화 함수를 적용한다.
• 표준 최적화 도구(예: Adam, Yellowfin)를 사용하여 ERM에 비해 최소한의 계산 오버헤드로 알고리즘을 구현한다.
• 샘플을 부분 집합으로 나누어 손실 추정치의 중앙값을 계산하는 전략을 사용하여, 약한 모멘트 조건 하에서도 안정성을 확보한다.

실험 결과

연구 질문

• RQ1 생성 모델 기반 압축 측정이 측정값과 측정 행렬에서 중앙값의 평균 노이즈와 임의의 이상치에 대해 강건하게 만들 수 있는가?
• RQ2 MOM 기반 알고리즘이 하위가우시안 가정 하에서 ERM와 동일한 샘플 복잡도를 유지하면서도 비하위가우시안 데이터에 대해 강건한가?
• RQ3 S-REC가 더 이상 성립하지 않는 약한 모멘트 가정 하에서도 제안된 방법이 진짜 신호를 이론적으로 복원할 수 있는가?
• RQ4 중심값의 평균 노이즈와 손상된 데이터 상황에서 제안된 알고리즘이 경험적으로 ERM에 비해 재구성 오차 측면에서 어떻게 성능을 내는가?

주요 결과

• 제안된 MOM 기반 알고리즘은 중앙값의 평균 노이즈와 임의의 손상이 존재하는 상황에서도 $m = O(kd\log n)$ 측정값으로 $\|G(\widehat{z}) - G(z^*)\|^2 \leq O(\sigma^2 + \tau)$ 를 확보한다.
• S-REC에 의존하지 않음에도 불구하고, 하위가우시안 가정 하에서 ERM와 동일한 샘플 복잡도를 유지한다.
• 중심값의 평균 노이즈를 띠는 A와 $\eta$를 가진 MNIST 데이터셋에서, 다양한 $m$ 값에 대해 제안된 방법이 ERM보다 유의미하게 낮은 재구성 오차를 기록한다.
• $256 \times 256 \times 3$ 해상도의 CelebA-HQ 데이터셋에서, 이상치가 없는 중앙값의 평균 데이터 상황에서는 경쟁력 있는 성능을 보이며, 손상된 상황에서는 뛰어난 강건성을 확보한다.
• 경험적 결과는 ERM가 중앙값의 평균 노이즈와 손상된 데이터 상황에서 뚜렷하게 실패하는 반면, MOM 기반 방법은 안정적이고 정확한 성능을 유지함을 확인한다.
• 이론적 분석은 S-REC를 회피할 경우 표준 ERM도 약한 모멘트 가정 하에서 성공할 수 있음을 보여주며, 이는 하위가우시안 설정을 초월한 더 넓은 적용 가능성을 시사한다.