[논문 리뷰] Robust Sparse Estimation Tasks in High Dimensions

Jerry Li|arXiv (Cornell University)|2017. 02. 20.

Sparse and Compressive Sensing Techniques참고 문헌 23인용 수 17

한 줄 요약

이 논문은 적대적 오염 하에 고차원에서 강건한 희소 평균 추정과 강건한 희소 주성분 분석을 위한 최초의 효율적인 알고리즘을 제안하며, 차원 $d$에 대해 하위선형 표본 복잡도와 정보 이론적 최적값에 $√{\log 1/\varepsilon}$ 요인 내에서 오차 한계를 달성한다. 이 작업은 소음 존재 하에서 새로운 계산-통계 갭을 드러내며, 오염 없이도 관찰되는 희소 주성분 분석에서의 갭과 유사하다.

ABSTRACT

In this paper we initiate the study of whether or not sparse estimation tasks can be performed efficiently in high dimensions, in the robust setting where an $\eps$-fraction of samples are corrupted adversarially. We study the natural robust version of two classical sparse estimation problems, namely, sparse mean estimation and sparse PCA in the spiked covariance model. For both of these problems, we provide the first efficient algorithms that provide non-trivial error guarantees in the presence of noise, using only a number of samples which is similar to the number required for these problems without noise. In particular, our sample complexities are sublinear in the ambient dimension $d$. Our work also suggests evidence for new computational-vs-statistical gaps for these problems (similar to those for sparse PCA without noise) which only arise in the presence of noise.

연구 동기 및 목표

• 희소 추정의 통계적 성과가 적대적 오염 하에서도 고차원에서 유지되는지 조사하기 위해.
• 오염된 샘플로 인한 모델 잘못 지정에 대응할 때 기존의 희소 추정 알고리즘이 취약한 이유를 다루기 위해.
• 차원 $d$에 대해 하위선형 표본 복잡도를 유지하는 강건한 희소 평균 추정과 강건한 희소 주성분 분석을 위한 효율적인 알고리즘을 개발하기 위해.
• 특히 소음 존재 하에서 나타나는 새로운 계산-통계 갭을 탐색하기 위해.
• 강건한 희소 평균 추정의 표본 복잡도에 대한 이론적 한계를 설정하여 $k^2$ 대비 $k$ 갭을 제안하기 위해.

제안 방법

• 희소 분산 탐지 기반의 이상치 탐지 기법을 사용한 절단된 경험 평균을 활용한 강건한 희소 평균 추정을 위한 효율적 알고리즘을 제안한다.
• 스퍼링된 공분산 모델 기반의 강건한 PCA 프레임워크를 적용하며, 스펙트럼 방법과 행렬 섭동 이론을 사용해 오염된 샘플을 처리한다.
• 진짜와 추정된 투영 행렬 간의 차이를 유계화하기 위해 블록 행렬 분해와 행렬 노름 분석을 활용한다.
• 투영 행렬 간의 스펙트럼 노름과 프로베니우스 노름 간의 관계를 설정하기 위해 랭크-2 행렬 근사 접근법을 사용한다.
• 오염 존재 하에서 로그우도의 헤시안에 대한 새로운 분석을 도입하며, 이는 분산이 증가한 희소 방향 탐지와 연결된다.
• 헤시안의 준정부호성과 행렬 블록에 대한 경계를 활용한 모순 기반 증명 전략을 사용해 오차 보장을 유도한다.

실험 결과

연구 질문

• RQ1 적대적 오염으로 인해 일부 샘플($\varepsilon$ 비율)이 손상된 상황에서, 희소 평균 추정을 위한 효율적 알고리즘이 성능 보장을 유지할 수 있는가?
• RQ2 희소 주성분 분석에서 관찰된 계산-통계 갭이 강건한 희소 평균 추정에서도 나타나는가?
• RQ3 강건한 희소 평균 추정에 대해 $\widetilde{O}(k^2 \log d / \varepsilon^2)$의 표본 복잡도가 필수적인가, 아니면 향상시킬 수 있는가?
• RQ4 적대적 오염 하에서 고차원에서 강건한 희소 주성분 분석을 하위선형 표본 복잡도로 효율적으로 해결할 수 있는가?
• RQ5 모델 잘못 지정 하에서 강건한 희소 추정에서 계산 효율성과 통계 정확성 사이의 기본적 상호보완 관계는 무엇인가?

주요 결과

• 제안된 강건한 희소 평균 추정 알고리즘은 $\ell_2$ 오차 한계로 $O(\varepsilon \sqrt{\log 1/\varepsilon})$를 달성하며, 이는 어떤 효율적 SQ 알고리즘에도 $√{1/\varepsilon}$ 요인 내에서 최적이다.
• $k^2$ 대비 $k$ 갭이 존재한다는 추측 하에, $\widetilde{O}(k^2 \log d / \varepsilon^2)$의 표본 복잡도는 효율적 알고리즘에 대해 필수적임을 입증한다.
• 정보 이론적 최소값으로부터 오차 한계가 $\sqrt{\log 1/\varepsilon}$ 요인만큼 떨어져 있어, 강건한 희소 추정에서의 기본적 상호보완 관계를 시사한다.
• 소음 존재 하에서 새로운 계산-통계 갭이 나타나며, 이는 오염 없이도 관찰되는 희소 주성분 분석의 갭과 유사하다. 소음이 없는 경우는 이러한 갭이 존재하지 않는다.
• 진짜와 추정된 투영 행렬 간의 프로베니우스 노름이 $O(\gamma)$ 이하로 유계임을 증명하여, 희소 부분공간의 안정적 복원을 의미한다.
• 강건한 희소 평균 추정에서 이상치 탐지는 희소 주성분 분석과 동일한 계산 난이도를 가진 문제를 해결해야 하므로, 분산이 높은 희소 방향 탐지가 필요하다는 것을 증명한다.