[논문 리뷰] Optimization Methods for Sparse Pseudo-Likelihood Graphical Model Selection

Sang Min Oh, Onkar Dalal외 2명|arXiv (Cornell University)|2014. 09. 12.

Sparse and Compressive Sensing Techniques참고 문헌 10인용 수 19

한 줄 요약

이 논문은 비정규 분포 그래픽 모델에서 희소 역공분산 추정을 위한 두 가지 프록시멀 그래디언트 방법인 CONCORD-ISTA와 CONCORD-FISTA를 제안한다. 이는 볼록 가짜우도 프레임워크를 기반으로 하며, 기존의 좌표 기반 최소화 방법보다 속도에서 수개의 지수 차수 개선을 이룩하면서도 기존의 수렴 속도를 확보하여 비정규 분포 부분상관계 그래프 추정 분야에서 가장 빠르고 확장 가능한 솔루션을 제공한다.

ABSTRACT

Sparse high dimensional graphical model selection is a popular topic in contemporary machine learning. To this end, various useful approaches have been proposed in the context of $\ell_1$-penalized estimation in the Gaussian framework. Though many of these inverse covariance estimation approaches are demonstrably scalable and have leveraged recent advances in convex optimization, they still depend on the Gaussian functional form. To address this gap, a convex pseudo-likelihood based partial correlation graph estimation method (CONCORD) has been recently proposed. This method uses coordinate-wise minimization of a regression based pseudo-likelihood, and has been shown to have robust model selection properties in comparison with the Gaussian approach. In direct contrast to the parallel work in the Gaussian setting however, this new convex pseudo-likelihood framework has not leveraged the extensive array of methods that have been proposed in the machine learning literature for convex optimization. In this paper, we address this crucial gap by proposing two proximal gradient methods (CONCORD-ISTA and CONCORD-FISTA) for performing $\ell_1$-regularized inverse covariance matrix estimation in the pseudo-likelihood framework. We present timing comparisons with coordinate-wise minimization and demonstrate that our approach yields tremendous payoffs for $\ell_1$-penalized partial correlation graph estimation outside the Gaussian setting, thus yielding the fastest and most scalable approach for such problems. We undertake a theoretical analysis of our approach and rigorously demonstrate convergence, and also derive rates thereof.

연구 동기 및 목표

• 희소 그래픽 모델 선택을 위한 비정규 분포 가짜우도 프레임워크에서 고급 최적화 방법의 부족을 해결하기 위해.
• 이전에는 정규 분포 설정에서 사용된 현대 프록시멀 그래디언트 기법을 비정규 분포에 적합한 CONCORD 볼록 가짜우도 접근법으로 확장하여 강건한 비정규 분포 부분상관계 추정을 가능하게 하기 위해.
• 비정규 분포 설정에서 제안된 프록시멀 방법의 이론적 수렴 속도를 확립하기 위해.
• 합성 및 실제 데이터 세트에서 기존의 좌표 기반 최소화 방법 대비 상당한 계산 속도 향상을 입증하기 위해.
• 볼록 최적화를 이용한 비정규 분포 그래픽 모델 선택에 대한 종합적이고 자가 포함된 처리를 제공하기 위해.

제안 방법

• CONCORD 목표 함수를 최소화하기 위한 프록시멀 그래디언트 방법으로 CONCORD-ISTA와 CONCORD-FISTA를 제안하며, 이는 부분상관계 기반의 볼록 가짜우도 공식화에 기반한다.
• ℓ₁-노름의 서그레디언트에서 유도된 소프트 스레셔닝 연산자를 기반으로 한 반복적 갱신을 사용하며, 스텝 사이즈 선택을 위해 백트래킹 선 탐색을 적용한다.
• CONCORD 문제의 이중 형식을 활용하여 대체 최적화 전략과 수렴 분석을 가능하게 한다.
• CONCORD-ISTA와 CONCORD-FISTA의 수렴 속도를 유도하며, 각각 O(1/k) 및 O(1/k²) 수렴 속도로 전역 수렴을 증명한다.
• 가짜우도의 구조와 좌표 기반 갱신 규칙을 기반으로 기준 비교를 위한 기반 설정으로 고차원 데이터에 적용한다.
• 합성 데이터와 실제 데이터 세트(예: 유방암 유전자 발현 데이터)에서 성능을 검증하며, p=4433개 유전자 및 n≪p 설정을 사용한다.

실험 결과

연구 질문

• RQ1 비정규 분포 CONCORD 가짜우도 프레임워크에 프록시멀 그래디언트 방법을 효과적으로 적용하여 희소 역공분산 추정을 수행할 수 있는가?
• RQ2 비정규 분포 설정에서 CONCORD-ISTA와 CONCORD-FISTA에 대해 이론적으로 확립할 수 있는 수렴 속도는 무엇인가?
• RQ3 제안된 프록시멀 방법은 CONCORD에서 사용되는 표준 좌표 기반 최소화 방법 대비 계산 효율성에서 어떻게 비교되는가?
• RQ4 새로운 방법들은 비정규 분포, 고차원, 이상치에 민감한 실제 데이터 세트에서도 강건한 모델 선택 성능 유지를 유지하는가?
• RQ5 CONCORD 문제의 이중 형식은 최적화 성능 향상과 이론적 분석 향상에 기여할 수 있는가?

주요 결과

• CONCORD-ISTA와 CONCORD-FISTA는 각각 O(1/k) 및 O(1/k²) 수렴 속도를 확보하여 비정규 분포 가짜우도 최적화에 대한 이론적 보장을 제공한다.
• p=5000인 합성 데이터에서 CONCORD-ISTA는 좌표 기반 최소화 대비 최대 10배 빠른 실행 시간을 기록했으며, 차원 증가에 따라 속도 향상이 더욱 두드러졌다.
• 유방암 데이터세트(p=4433)에서 ccista_1(_CONCORD-ISTA의 변종)는 테스트한 9개 λ 값 중 8개에서 표준 CONCORD를 능가하는 성능을 보였다.
• λ=0.800(0.002 NZ%) 설정에서 CONCORD-ISTA는 실행 시간을 좌표 기반 최소화의 193.6초에서 92.2초로 단축하여 약 52% 향상되었다.
• 고차원 설정(p=5000)에서 CONCORD-ISTA는 좌표 기반 최소화 대비 10배 이상의 속도 향상을 기록하여 수개의 지수 차수 개선을 입증했다.
• 비정규 분포, 고차원, n≪p 데이터 세트에서 제안된 방법들은 실제 생물학적 데이터 세트를 통한 검증을 통해 강건성과 모델 선택 정확도를 유지함을 입증했다.