[논문 리뷰] Certifiably Optimal Low Rank Factor Analysis

Dimitris Bertsimas, Martin S. Copenhaver외 1명|arXiv (Cornell University)|2016. 04. 23.

Sparse and Compressive Sensing Techniques참고 문헌 44인용 수 11

한 줄 요약

이 논문은 반정형 최적화를 이용해 공분산 행렬을 저질서 양의 준정의 성분과 유일 분산의 대각행렬으로 분해하는 증명 가능 최적의 저질서 요인 분석 방법을 제안한다. 질서 제약이 붙은 문제를 부드럽고 볼록 제약이 있는 최적화 문제로 재구성하고, 비선형 최적화 기법과 전역 최적화 기법을 융합함으로써, 기존 방법에 비해 정확도와 확장성 면에서 크게 향상된 대규모 문제에 대해 증명 가능한 최적 해를 도출한다.

ABSTRACT

Factor Analysis (FA) is a technique of fundamental importance that is widely used in classical and modern multivariate statistics, psychometrics and econometrics. In this paper, we revisit the classical rank-constrained FA problem, which seeks to approximate an observed covariance matrix ($\boldsymbolΣ$), by the sum of a Positive Semidefinite (PSD) low-rank component ($\boldsymbolΘ$) and a diagonal matrix ($\boldsymbolΦ$) (with nonnegative entries) subject to $\boldsymbolΣ- \boldsymbolΦ$ being PSD. We propose a flexible family of rank-constrained, nonlinear Semidefinite Optimization based formulations for this task. We introduce a reformulation of the problem as a smooth optimization problem with convex compact constraints and propose a unified algorithmic framework, utilizing state of the art techniques in nonlinear optimization to obtain high-quality feasible solutions for our proposed formulation. At the same time, by using a variety of techniques from discrete and global optimization, we show that these solutions are certifiably optimal in many cases, even for problems with thousands of variables. Our techniques are general and make no assumption on the underlying problem data. The estimator proposed herein, aids statistical interpretability, provides computational scalability and significantly improved accuracy when compared to current, publicly available popular methods for rank-constrained FA. We demonstrate the effectiveness of our proposal on an array of synthetic and real-life datasets. To our knowledge, this is the first paper that demonstrates how a previously intractable rank-constrained optimization problem can be solved to provable optimality by coupling developments in convex analysis and in discrete optimization.

연구 동기 및 목표

• 고차원에서 해결이 불가능한 것으로 간주되어 왔던 질서 제약이 있는 요인 분석 문제를 증명 가능한 전역 최적해로 해결하는 데 도전한다.
• 공통 요인과 유일 요인으로 명확하게 분해할 수 있도록 통계적 해석 가능성을 보장하는 유연하고 확장성 있고 정확한 최적화 프레임워크를 개발한다.
• 현재 요인 분석에서 널리 사용되는 히وري스틱 및 국소 최적화 방법의 한계를 극복하기 위해 전역 최적해를 제공하고 최적성에 대한 증명을 보장한다.
• 이전 방법들이 해의 품질을 보장하지 못하는 수천 개의 변수를 포함한 대규모 실세계 데이터셋에 저질서 요인 분석의 적용을 가능하게 한다.
• 볼록 분석과 이산 최적화 기법을 통합하여, 이전에는 계산적으로 해결 불가능하다고 여겨졌던 비볼록이고 질서 제약이 있는 반정형 프로그래밍 문제의 클래스를 해결한다.

제안 방법

• 저질서 요인 분석 문제를 비선형 반정형 프로그래밍으로 재구성하고, 볼록이고 컴acts한 제약 조건을 도입함으로써 고급 비선형 최적화 솔버의 사용을 가능하게 한다.
• 공분산 행렬에서 대각 성분을 뺀 결과의 최적의 저질서 근사값을 근사하기 위해 슈atten q-노름 최소화를 이용한 질서 제약 문제의 재구성 기법을 도입한다.
• 비볼록 질서 제약 조건을 볼록 반정형 프로그래밍으로 전환하기 위해 이중 기반의 완화 기법을 활용하며, 이중 갭을 통한 전역 최적성 증명이 가능하다.
• 내점법을 이용한 부드러운 최적화와 이산 최적화의 브랜치 앤 바운드, 커팅 플레인 기법을 융합한 통합 알고리즘 프레임워크를 구성하여 전역 최적성의 증명을 보장한다.
• 대칭 행렬의 상위 r개 고유값의 합이 선형 반정형 프로그래밍으로 표현될 수 있음을 이용하여, 볼록 완화를 통한 정확한 저질서 근사 계산이 가능하다.
• Danskin의 정리를 적용하여 이중 함수의 하향도를 유도하고, 이중 문제의 효율적인 하향도 기반 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 볼록 최적화와 이산 최적화 기법을 융합하여 질서 제약이 있는 요인 분석 문제를 증명 가능한 전역 최적해로 해결할 수 있는가?
• RQ2 증명 가능 최적의 저질서 요인 분석의 계산적 확장성은 수천 개의 변수를 포함하는 문제로 어떻게 확장될 수 있는가?
• RQ3 제안된 방법은 기존의 히وري스틱 또는 국소 최적화 접근법에 비해 해의 정확도를 얼마나 향상시키는가?
• RQ4 슈텐트 q-노름 공식화는 기존의 프로베니우스 노름 기반 방법에 비해 더 강건하고 통계적으로 해석 가능한 저질서 근사값을 제공할 수 있는가?
• RQ5 이중성과 볼록 완화는 비볼록이고 질서 제약이 있는 반정형 프로그래밍 문제의 전역 최적성 증명에 어떤 역할을 하는가?

주요 결과

• 비선형 최적화와 전역 최적화 기법을 융합함으로써, 수천 개의 변수가 있는 저질서 요인 분석 문제에 대해 증명 가능한 최적 해를 도출한다.
• 특히 합성 데이터와 실세계 데이터에서 진짜 저질서 구조를 회복하는 데 있어, 현재 공개된 방법들에 비해 정확도가 크게 향상됨을 입증한다.
• 이중 기반 완화 기법을 통해 볼록 반정형 프로그래밍을 통한 최적의 저질서 성분 정확한 복원이 가능하며, 최적성 갭을 엄밀하게 유계로 유지할 수 있다.
• 고유값 최적화의 구조를 활용하여 비볼록이고 질서 제약이 있는 문제에서도 증명 가능한 최적성 보장을 갖는 해로 수렴함을 입증한다.
• 이 프레임워크는 일반적이며 원천 데이터에 대한 가정을 하지 않아 심리측도학, 경제통계학, 다변량 통계 등 다양한 분야에 넓은 적용 가능성을 지닌다.
• 합성 및 실세계 데이터에 대한 실험 결과는, 최첨단 대비 더 나은 통계적 해석 가능성과 더 정확한 분해를 제공함을 확인한다.