[논문 리뷰] Minimax rate of convergence and the performance of ERM in phase recovery

Guillaume Lecué, Shahar Mendelson|arXiv (Cornell University)|2013. 11. 20.

Advanced X-ray Imaging Techniques참고 문헌 14인용 수 7

한 줄 요약

이 논문은 노이즈가 있는 단서 복원에서 경험적 위험 최소화(Empirical Risk Minimization, ERM)의 성능을 분석하며, 복원된 신호의 추정 오차가 제약 집합의 가우시안 평균 폭과 신호 대 잡음 비율(SNR)에 의존함을 보여준다. 이는 희소 벡터와 $\beta$-구에 대해 ERM의 최소 최대 최적성(minimax optimality)을 입증하며, ERM가 로그 인자까지 최적 수렴 속도를 달성함을 보여준다.

ABSTRACT

We study the performance of Empirical Risk Minimization in noisy phase retrieval problems, indexed by subsets of $\R^n$ and relative to subgaussian sampling; that is, when the given data is $y_i=\inr{a_i,x_0}^2+w_i$ for a subgaussian random vector $a$, independent noise $w$ and a fixed but unknown $x_0$ that belongs to a given subset of $\R^n$. We show that ERM produces $\hat{x}$ whose Euclidean distance to either $x_0$ or $-x_0$ depends on the gaussian mean-width of the indexing set and on the signal-to-noise ratio of the problem. The bound coincides with the one for linear regression when $\|x_0\|_2$ is of the order of a constant. In addition, we obtain a minimax lower bound for the problem and identify sets for which ERM is a minimax procedure. As examples, we study the class of $d$-sparse vectors in $\R^n$ and the unit ball in $\ell_1^n$.

연구 동기 및 목표

• 서브가우시안 샘플링 하에서 단서 복원의 최소 최대 수렴 속도를 분석하기 위해.
• 경험적 위험 최소화(ERM)가 노이즈가 있는 이차 측정에서의 성능을 평가하기 위해.
• 희소 벡터와 $\beta$-구와 같은 구조적 집합에 대해 ERM가 최소 최대 최적일 조건을 규명하기 위해.
• ERM 수렴 속도와 일치하는 하한을 설정하여, 그 최적성(로그 인자까지)을 확인하기 위해.

제안 방법

• 고차항의 행동을 제어하기 위해 선형 형식에 대해 소구간 가정(small-ball assumption)을 사용한다.
• 편미분 경계와 소구간 추정을 조합하여 ERM의 초과 위험을 분석한다.
• 분석을 $x_0$와 $-x_0$ 주변으로 국소화하기 위해 정규화된 집합 $T_{-,R}(x_0)$와 $T_{+,R}(x_0)$를 도입한다.
• 제약 집합 $T$의 복잡도 측정으로서 가우시안 평균 폭을 핵심 척도로 사용한다.
• 신호 대 잡음 비율, 표본 크기 $N$, 차원 $n$ 간의 상호작용을 통해 추정 오차의 상한을 유도한다.
• 수도코프의 부등식과 메트릭 엔트로피 추론을 적용하여 최소 최대 하한을 확립하고 최적성을 검증한다.

실험 결과

연구 질문

• RQ1 서브가우시안 샘플링 하에서 단서 복원의 최소 최대 수렴 속도는 무엇인가?
• RQ2 ERM의 성능은 제약 집합 $T$의 구조에 따라 어떻게 달라지는가?
• RQ3 어떤 조건에서 ERM이 단서 복원에서 최소 최대 최적일 수 있는가?
• RQ4 신호 대 잡음 비율은 ERM를 통한 단서 복원의 추정 오차에 어떤 영향을 미치는가?
• RQ5 다른 어떤 절차라도 ERM가 달성한 속도를 따라올 수 있는가, 아니면 이것이 최적인가?

주요 결과

• ERM는 정규화된 집합 $T_{-,R}(x_0)$와 $T_{+,R}(x_0)$의 가우시안 평균 폭에 따라 수렴 속도를 결정하며, 이는 제약 집합의 국소 기하학을 반영한다.
• 당신 $\|x_0\|_2$가 일정할 경우, ERM 수렴 속도는 선형 회귀와 일치하며, 이는 서브가우시안 샘플링 하에서 문제의 이차 성격이 성능을 떨어뜨리지 않음을 시사한다.
• 차원 $n$에서 $d$-희소 벡터에 대해 ERM 수렴 속도는 $\sqrt{d \log n / N}$의 순서를 가지며, 이는 알려진 최소 최대 속도와 일치한다.
• $\ell_1^n$-구에 대해 ERM는 수학적 하한이 Sudakov의 부등식을 통해 일치함을 확인하여, $\sqrt{\log N}$ 인자까지 최소 최대 최적이다.
• 고잡음 환경에서는 $\|x_0\|_2$가 클 경우, 수렴 속도는 $\sigma / \|x_0\|_2 \cdot \sqrt{n \log N / N}$ 으로 유계이며, 이는 잡음과 차원의 영향을 반영한다.
• 당신 $n \lesssim (\sigma^2 \log N / N)^{-1/6} \|x_0\|_2^{1/2}$ 일 경우, $\ell_1^n$-구에 대해 ERM는 최소 최대 최적이다. 이는 노이즈가 존재하더라도 복원이 가능할 수 있는 영역임을 시사한다.