[논문 리뷰] Sparse Additive Functional and Kernel CCA

Sivaraman Balakrishnan, Kriti Puniyani외 1명|arXiv (Cornell University)|2012. 06. 18.

Gene expression and cancer classification참고 문헌 19인용 수 11

한 줄 요약

이 논문은 고차원 유전체 데이터에서 비선형 상관관계를 포착하기 위해 가소성 모델과 커널 기반 모델을 사용하는 두 가지 고차원 비모수적 CCA 방법—스parsely 추가 기능 CCA와 커널 CCA—을 제안한다. 저자들은 이론적 보장을 갖춘 추정 절차를 제안하고, 시뮬레이션과 실제 유전체 데이터셋에서 고전적이고 스파스 선형 CCA에 비해 비선형 관계 탐지 성능이 뛰어나다는 것을 입증한다.

ABSTRACT

Canonical Correlation Analysis (CCA) is a classical tool for finding correlations among the components of two random vectors. In recent years, CCA has been widely applied to the analysis of genomic data, where it is common for researchers to perform multiple assays on a single set of patient samples. Recent work has proposed sparse variants of CCA to address the high dimensionality of such data. However, classical and sparse CCA are based on linear models, and are thus limited in their ability to find general correlations. In this paper, we present two approaches to high-dimensional nonparametric CCA, building on recent developments in high-dimensional nonparametric regression. We present estimation procedures for both approaches, and analyze their theoretical properties in the high-dimensional setting. We demonstrate the effectiveness of these procedures in discovering nonlinear correlations via extensive simulations, as well as through experiments with genomic data.

연구 동기 및 목표

• 고전적이고 스파스 선형 CCA가 고차원 데이터에서 비선형 상관관계를 포착하는 데 한계가 있음을 해결한다.
• CCA의 선형 관계를 초월하여 복잡한 비선형 의존성을 모델링할 수 있는 비모수적 CCA 방법을 개발한다.
• 표본 수가 제한된 고차원 설정에서 추정 절차의 이론적 분석을 제공한다.
• 시뮬레이션 및 실제 유전체 데이터셋에서 비선형 상관관계 탐지 성능 향상을 입증한다.
• 고차원 난수 벡터 간의 기능적 관계를 해석 가능하고 스파스한 형태로 표현할 수 있도록 한다.

제안 방법

• 입력 변수의 매끄러운 단변량 함수의 합으로 캐논ical 변수를 표현하는 추가 모델을 사용하는 스파스 추가 기능 CCA를 제안한다.
• 기능 계수에 L1 펜alty를 적용하여 스파arsity를 유도하고 해석 가능성을 향상시킨다.
• 비모수적으로 비선형 관계를 모델링하기 위해 재생 핵 힐버트 공간(RKHS)을 사용하는 커널 기반 CCA 접근법을 제시한다.
• 스파arsity와 비모수적 매끄러움 제약 조건 하에서 캐논ical 방향을 동시에 추정하는 최적화 절차를 개발한다.
• 고차원 환경에서 구성 요소 함수와 커널 연산자를 추정하기 위해 고차원 비모수 회귀 기법을 활용한다.
• 적절한 정규성 및 스파arsity 조건 하에서 두 방법의 이론적 일致성과 수렴 속도를 확립한다.

실험 결과

연구 질문

• RQ1 비모수적 CCA 방법은 선형 CCA가 실패하는 고차원 데이터에서 비선형 상관관계를 탐지할 수 있는가?
• RQ2 스파스 추가 및 커널 기반 CCA 방법은 고전적 및 스파스 선형 CCA에 비해 상관관계 탐지 및 변수 선택에서 어떻게 비교되는가?
• RQ3 고차원, 표본 수가 적은 설정에서 제안된 추정기의 이론적 성질은 무엇인가?
• RQ4 제안된 방법은 복잡한 비선형 의존성을 포착하면서도 유전체 데이터에서 관련 변수를 효과적으로 식별할 수 있는가?
• RQ5 모델 잘못 지정과 고차원 노이즈에 대해 방법은 얼마나 강건한가?

주요 결과

• 제안된 스파스 추가 기능 CCA 및 커널 CCA 방법은 선형 CCA가 실패하는 고차원 데이터에서 비선형 상관관계를 성공적으로 탐지한다.
• 시뮬레이션 결과, 두 방법 모두 고차원 환경에서 비선형 관계 식별 능력에서 고전적 및 스파스 선형 CCA를 크게 능가한다.
• 스파arsity 및 매끄러움 파라미터에 따라 수렴 속도에 따라 일관된 캐논ical 방향 추정을 달성한다.
• 유전체 데이터에 대한 실증 결과는 선형 모델이 포착하지 못하는 의미 있는 생물학적 관계를 식별할 수 있음을 보여준다.
• 이론적 분석을 통해 고차원 설정에서 적절한 정규성 및 스파arsity 조건 하에서 두 방법이 일관성을 확보함을 확인한다.
• L1 펜alty를 통한 스파arsity 유도로 해석 가능한 캐논ical 변수를 얻을 수 있으며, 이는 가장 관련성이 높은 입력 변수들만 강조한다.