[논문 리뷰] A D.C. Programming Approach to the Sparse Generalized Eigenvalue Problem

Bharath K. Sriperumbudur, David Torres-Moreno외 1명|ArXiv.org|2009. 01. 12.

Advanced Optimization Algorithms Research참고 문헌 61인용 수 10

한 줄 요약

이 논문은 스파스 일반화 고유값 문제에 대한 D.C. 프로그래밍 접근법을 제안하며, 스튜던트의 t분포의 음의 로그우도 기반으로 더 날카운 카디널리티 근사치를 사용한다. 이 방법은 전역 수렴을 보장하는 주요화-최소화 알고리즘을 활용하여, 스파스 PCA 및 CCA 응용에서 $β$-노름 방법보다 더 뛰어난 성능을 보이며, 더 높은 스파스성과 해석 가능성 향상을 달성한다.

ABSTRACT

In this paper, we consider the sparse eigenvalue problem wherein the goal is to obtain a sparse solution to the generalized eigenvalue problem. We achieve this by constraining the cardinality of the solution to the generalized eigenvalue problem and obtain sparse principal component analysis (PCA), sparse canonical correlation analysis (CCA) and sparse Fisher discriminant analysis (FDA) as special cases. Unlike the $\ell_1$-norm approximation to the cardinality constraint, which previous methods have used in the context of sparse PCA, we propose a tighter approximation that is related to the negative log-likelihood of a Student's t-distribution. The problem is then framed as a d.c. (difference of convex functions) program and is solved as a sequence of convex programs by invoking the majorization-minimization method. The resulting algorithm is proved to exhibit \emph{global convergence} behavior, i.e., for any random initialization, the sequence (subsequence) of iterates generated by the algorithm converges to a stationary point of the d.c. program. The performance of the algorithm is empirically demonstrated on both sparse PCA (finding few relevant genes that explain as much variance as possible in a high-dimensional gene dataset) and sparse CCA (cross-language document retrieval and vocabulary selection for music retrieval) applications.

연구 동기 및 목표

• 고차원 데이터 분석에서 일반화 고유값 문제에 대한 스파스 해를 얻는 데 도전하는 것.
• 기본 $β$-노름보다 더 날카운 카디널리티 제약 근사치를 개발하기 위해 스튜던트의 t분포의 음의 로그우도를 사용하는 것.
• 스파스 일반화 고유값 문제를 D.C. 프로그래밍으로 공식화하고, 전역 수렴 보장을 갖는 주요화-최소화 알고리즘을 통해 해결하는 것.
• 스파스 PCA, CCA, FDA 응용에서의 방법의 효과성을 입증하는 것 — 특히 유전자 선택 및 다국어 문서 검색에서의 응용에서.

제안 방법

• 카디널리티 제약 조건을 t분포 기반 근사치로 표현함으로써 문제를 D.C. 프로그래밍으로 재구성하여, 볼록 함수의 차수 형태로 표현한다.
• 주요화-최소화(MM) 알고리즘을 적용하여, D.C. 목적 함수를 최소화하기 위해 반복적으로 볼록 하위문제를 해결한다.
• 알고리즘은 전역 수렴을 보장한다: 임의의 초기화 값이 있어도 D.C. 프로그래밍의 정류점으로 수렴한다.
• 특정 사례에 맞게 방법을 적응시켰다: 스파스 PCA(공분산 및 항등행렬 사용), 스파스 CCA(교차공분산 및 공분산 행렬을 통한), 스파스 FDA(군간 및 군내 산란 행렬을 통한).
• 특수한 경우 $β = ∞$ 및 $β = 0$에 대해 업데이트 규칙은 이중 문제 및 라그랑주 승수 방법에서 유도된 소프트 스레셔닝 유사 연산으로 단순화된다.
• 비볼록 항을 선형 주요화함으로써 알고리즘을 유도하여, 각 반복 단계에서 볼록 하위문제를 보장한다.

실험 결과

연구 질문

• RQ1 스파스 일반화 고유값 문제에서 스파스성과 해의 품질을 향상시키기 위해 더 날카운 카디널리티 제약 근사치를 개발할 수 있는가?
• RQ2 t분포 기반 정규화를 사용하는 D.C. 프로그래밍 접근법이 스파스 PCA 및 CCA에서 $β$-노름 완화보다 더 나은 수렴성과 스파스성을 제공하는가?
• RQ3 주요화-최소화 프레임워크는 일반 조건 하에서 스파스 일반화 고유값 문제에 대해 전역 수렴을 보장할 수 있는가?
• RQ4 실제 데이터 세트(유전자 발현 및 다국어 문서 검색)에서 기존 방법들과 비교해 성능이 어떻게 되는가?

주요 결과

• 제안된 D.C. 프로그래밍 접근법은 t분포 기반 카디널리티 근사치를 사용하여, 스파스 PCA 및 CCA에서 $β$-노름 완화보다 더 뛰어난 스파스성과 해의 품질을 달성한다.
• MM 알고리즘은 전역 수렴을 보인다: 임의의 초기화 값이 있어도 D.C. 프로그래밍의 정류점으로 수렴한다.
• 실험 결과는 고차원 유전자 데이터 세트에서 스파스 PCA를 통해 관련 유전자들을 더 잘 식별함을 보여준다.
• 이 방법은 스파스 CCA를 통해 음악 애너테이션 작업에서 효과적인 다국어 문서 검색 및 어휘 선택을 가능하게 한다.
• 특수한 경우($β = 0$)에서 알고리즘의 업데이트 규칙은 이중 문제 및 라그랑주 승수 방법에서 유도된 정규화된 소프트 스레셔닝 연산으로 단순화된다.
• 이론적 분석은 하위문제가 볼록하고 전체 알고리즘이 잘 정의되며 수렴함을 확인한다.