[논문 리뷰] Diversifying Sparsity Using Variational Determinantal Point Processes

Kayhan Batmanghelich, Gerald Quon외 4명|arXiv (Cornell University)|2014. 11. 23.

Point processes and geometric inequalities참고 문헌 19인용 수 10

한 줄 요약

이 논문은 베이지안 스퍼스 회귀에서 특징 다양성을 향상하기 위해 변분 결정점 프로세스(DPP) 프레임워크를 제안한다. DPP는 공분산 또는 보조 정보를 바탕으로 특징 다양성을 유도하기 위해 사후 분포 근사로 사용된다. 이 방법은 LASSO나 OMP와 같은 전통적 방법보다 훨씬 더 다양하고 정확한 특징 집합을 도출하며, 샘플링을 통해 불확실성 정량화를 가능하게 한다.

ABSTRACT

We propose a novel diverse feature selection method based on determinantal point processes (DPPs). Our model enables one to flexibly define diversity based on the covariance of features (similar to orthogonal matching pursuit) or alternatively based on side information. We introduce our approach in the context of Bayesian sparse regression, employing a DPP as a variational approximation to the true spike and slab posterior distribution. We subsequently show how this variational DPP approximation generalizes and extends mean-field approximation, and can be learned efficiently by exploiting the fast sampling properties of DPPs. Our motivating application comes from bioinformatics, where we aim to identify a diverse set of genes whose expression profiles predict a tumor type where the diversity is defined with respect to a gene-gene interaction network. We also explore an application in spatial statistics. In both cases, we demonstrate that the proposed method yields significantly more diverse feature sets than classic sparse methods, without compromising accuracy.

연구 동기 및 목표

• LASSO나 OMP와 같은 표준 스퍼스 특징 선택 방법에서 명시적인 다양성 유도의 부족을 해결하기 위해.
• 결정점 프로세스(DPP)를 사용하여 구조적인 종속성을 도입함으로써, 확률적이고 계산적으로 타당한 프레임워크를 개발하여 다양한 특징 하위집합을 유도하기 위해.
• 복잡한 종속성을 포착하면서도 효율적인 학습과 샘플링을 가능하게 하는 스파이크-앤드-슬래브 사후분포에 대한 변분 근사 제공을 위해.
• 특징 공분산 또는 외부 보조 정보(예: 유전자 상호작용 네트워크)를 기반으로 다양성을 유도함으로써 실세계 응용에서의 해석 가능성 향상을 위해.
• 평균장 근사와 전통적인 스퍼스 방법에 비해 다양성과 성능 면에서 우월함을 입증하기 위해.

제안 방법

• 스파이크-앤드-슬래브 모델의 사후분포 근사로 DPP를 사용하여, 평균장 분해 대신 구조적인 종속성을 도입한다.
• Salimans와 Knowles(2013)의 유연한 변분 추론 프레임워크를 활용하며, 효율적인 우도 평가와 사후 샘플링만 요구된다.
• 선형 회귀의 폐쇄형 마진 우도와 효율적인 SVD 기반 샘플링을 활용하여 빠른 MAP 추정과 신뢰구간을 가능하게 한다.
• 유사도 특징 Φ를 사용하여 DPP 커널을 매개변수화함으로써, 다양성이 특징 공분산 또는 응용 분야에 특화된 보조 정보를 기반으로 정의될 수 있도록 한다.
• 샘플된 특징 하위집합을 사용한 확률적 경사 업데이트를 통해 DPP 매개변수를 반복적으로 최적화하며, 온도 매개변수를 통한 적응형 카디널리티 제어를 구현한다.
• 두 가지 구성 방식을 지원한다: DPP-베르누이(DPP 사전, 베르누이 사후)와 베르누이-DPP(베르누이 사전, DPP 사후)로, 모두 다양성 있는 선택을 가능하게 한다.

실험 결과

연구 질문

• RQ1 DPP 기반 변분 사후분포는 평균장 근사에 비해 더 다양한 고성능 특징 하위집합을 포착하는 데서 뛰어난 성능을 보일 수 있는가?
• RQ2 제안된 방법은 LASSO와 OMP에 비해 특징 다양성과 예측 정확도 면에서 어떻게 비교되는가?
• RQ3 DPP 프레임워크는 특징 상관계수를 초월하여 보조 정보(예: 유전자 상호작용 네트워크)를 효과적으로 통합하여 다양성을 유도할 수 있는가?
• RQ4 변분 DPP 접근법은 샘플링 기반의 신뢰구간을 통해 신뢰할 수 있는 불확실성 정량화를 제공하는가?
• RQ5 특히 OMP가 불안정성으로 인해 실패할 수 있는 고차원이고 상관관계가 높은 특징에 대해서도 이 방법은 강건한가?

주요 결과

• 제안된 DPP 기반 변분 방법은 LASSO와 OMP보다 유의미하게 더 다양한 특징 집합을 도출하며, 특히 유전자 발현 데이터에서 예측 정확도를 저하시키지 않으면서 성능 향상을 보였다.
• 미국 기온 데이터 응용 사례에서 DPP-베르누이와 베르누이-DPP는 스파이크슬래브와 OMP에 비해 더 나은 공간 다양성을 달성했으며, OMP는 희박한 지역에서 과도한 선택을 보였다.
• Φ = X일 경우, DPP 사후분포 근사는 평균장 근사와 DPP 사전을 사용한 경우와 유사한 성능을 보였으며, 이는 그 효과성을 검증한다.
• 이 방법은 네트워크 기반 다양성을 기반으로 생물학적으로 의미 있는 비공선성 유전자 집합을 효과적으로 식별하여, 생물정보학 분야에서의 유용성을 입증했다.
• DPP 사후분포에서의 샘플링은 불확실성 정량화를 가능하게 하며, OMP가 실패할 수 있는 다모달 사후분포 문제에 대한 해결책을 제공한다.
• SVD 기반 샘플링과 확률적 경사 업데이트를 사용한 알고리즘은 안정적으로 수렴하며, 커널 행렬의 조건수에 민감한 성능을 보였다.