[논문 리뷰] Curse of Heterogeneity: Computational Barriers in Sparse Mixture Models and Phase Retrieval

Jianqing Fan, Han Liu외 2명|arXiv (Cornell University)|2018. 08. 21.

Machine Learning and Algorithms참고 문헌 84인용 수 9

한 줄 요약

이 논문은 오라클 기반의 계산 모델을 사용하여 희소 혼합 모델과 포화 복귀 문제에 대해 계산적으로 타당한 최대화 하한을 수립하며, 통계적 정확도와 계산 가능성 사이의 근본적인 상충 관계를 드러낸다. 데이터의 이질성이 '이질성의 저주'를 유도함으로써, 계산적으로 효율적인 알고리즘은 본질적인 통계적 제약에 직면하게 되며, 이는 고전적 최소화 하한과 계산 제약이 있는 최소화 하한 사이의 격차로 정량화된다.

ABSTRACT

We study the fundamental tradeoffs between statistical accuracy and computational tractability in the analysis of high dimensional heterogeneous data. As examples, we study sparse Gaussian mixture model, mixture of sparse linear regressions, and sparse phase retrieval model. For these models, we exploit an oracle-based computational model to establish conjecture-free computationally feasible minimax lower bounds, which quantify the minimum signal strength required for the existence of any algorithm that is both computationally tractable and statistically accurate. Our analysis shows that there exist significant gaps between computationally feasible minimax risks and classical ones. These gaps quantify the statistical price we must pay to achieve computational tractability in the presence of data heterogeneity. Our results cover the problems of detection, estimation, support recovery, and clustering, and moreover, resolve several conjectures of Azizyan et al. (2013, 2015); Verzelen and Arias-Castro (2017); Cai et al. (2016). Interestingly, our results reveal a new but counter-intuitive phenomenon in heterogeneous data analysis that more data might lead to less computation complexity.

연구 동기 및 목표

• 고차원적 이질적 데이터 분석에서 통계적 정확도와 계산 가능성 사이의 근본적 상충 관계를 이해하기 위해.
• 계산 제약 조건 하에서 희소 혼합 모델과 포화 복귀 문제의 통계적 한계에 대한 열린 추측을 해결하기 위해.
• 어떤 계산적으로 효율적인 알고리즘도 이러한 모델에서 통계적 정확도를 달성하기 위해 필요한 최소 신호 강도를 정량화하기 위해.
• 정보 이론적 한계와 계산적으로 효율적인 하한 사이의 관측된 격차가 본질적인지, 아니면 최적화되지 않은 알고리즘 때문인지 탐구하기 위해.
• 더 많은 데이터가 이질적 환경에서 계산 복잡도를 감소시킬 수 있다는 역설적인 현상이 어떻게 발생하는지 탐구하기 위해.

제안 방법

• 검출, 추정, 지지 집합 복구, 클러스터링에 대해 추측 없이 최소화 하한을 도출하기 위해 오라클 기반의 계산 모델을 사용한다.
• 희소성 제약 조건이 있는 고차원 설정( d ≫ n )에서 희소 정규 혼합 모델과 희소 선형 회귀 혼합 모델을 분석한다.
• 계산 가능성이 있는 절차에 필요한 최소한의 신호 강도에 대한 날카운 하한을 도출하여 계산-통계적 단계 전이를 수립한다.
• 모수적 가설과 대립가설 사이의 총 변동 거리에 대한 하한을 도출하기 위해 두 번째 모멘트 방법과 우도 비율 분석을 적용한다.
• 라데마처 랜덤 변수와 행렬 행렬식 항등식을 사용하여 다양한 모델 하에서 우도 비율의 기대값을 계산한다.
• 고전적 최소화 하한과 계산적으로 가능한 최소화 하한 사이의 격차가 계산 가능성의 통계적 비용을 정량화함을 보여준다.

실험 결과

연구 질문

• RQ1 어떤 계산적으로 타당한 알고리즘이 이질적 혼합 모델에서 희소 신호를 탐지하기 위해 필요한 최소 신호 강도는 얼마인가?
• RQ2 희소 혼합 모델과 포화 복귀 문제에서 정보 이론적 하한과 계산적으로 효율적인 하한 사이의 관측된 격차는 본질적인가, 아니면 최적화되지 않은 알고리즘 때문인가?
• RQ3 데이터의 이질성이 계산적으로 효율적인 추정기의 성능을 본질적으로 제한하는가? 만약 그렇다면, 이를 어떻게 정량화할 수 있는가?
• RQ4 더 많은 데이터가 계산 복잡도를 감소시킬 수 있다는 현상은 공식적으로 설명하고 이질적 모델 전반에 일반화할 수 있는가?
• RQ5 계산 제약 조건이 희소 포화 복귀와 선형 회귀 혼합 모델의 최소화 위험에 어떻게 영향을 미치는가?

주요 결과

• 희소 혼합 모델과 포화 복귀 문제에서 고전적 최소화 하한과 계산적으로 가능한 최소화 하한 사이에 상당한 격차가 존재하며, 이는 계산 가능성의 통계적 비용을 정량화한다.
• 정규 혼합 모델에서 공분산이 항등행렬인 경우, 계산-통계적 단계 전이는 신호 강도 ∥Δμ∥₂² ≳ s log(d/n) 수준에서 결정되며, 로그 항목을 제외한 채로 정의된다.
• 희소 선형 회귀 혼합 모델에서 탐지에 필요한 신호 강도 임계값은 ∥β∥₂² ≳ s log(d/n)이며, 이는 포화 복귀 설정과 일치한다.
• 논문은 Azizyan 등(2013, 2015), Verzelen과 Arias-Castro(2017), Cai 등(2016)이 제기한 이러한 격차 존재에 대한 추측을 해결한다.
• 역설적인 현상이 드러났다: 이질적 모델에서 데이터를 늘일수록 계산 복잡도가 감소할 수 있다. 더 많은 데이터가 신호 분리도 향상시키기 때문이다.
• 우도 비율에 두 번째 모멘트 방법을 적용한 결과, 유도된 임계값 이하의 신호에서는 계산적으로 효율적인 알고리즘이 고전적 최소화 하한을 달성할 수 없다는 것이 확인되었다.