[논문 리뷰] Scalable Matrix-valued Kernel Learning for High-dimensional Nonlinear Multivariate Regression and Granger Causality

Vikas Sindhwani, Hà Quang Minh외 1명|arXiv (Cornell University)|2012. 10. 17.

Sparse and Compressive Sensing Techniques참고 문헌 38인용 수 11

한 줄 요약

이 논문은 고차원 비선형 다변량 회귀 및 그랑저 인과관계를 위한 확장 가능한, 고유분해를 수반하지 않는 행렬가치 커널 학습 프레임워크를 제안한다. 입력 및 출력 커널 성분을 근사해법을 통해 공동 최적화하며, 주요 기여는 시간 시리즈에서 희소하고 해석 가능한 인과 추론을 가능하게 하는 일반적인 다중 커널 학습 방법이다. 이는 예측 성능 향상과 유전자 발현 데이터에서 생물학적으로 의미 있는 인과 그래프를 통한 검증을 통해 입증되었다.

ABSTRACT

We propose a general matrix-valued multiple kernel learning framework for high-dimensional nonlinear multivariate regression problems. This framework allows a broad class of mixed norm regularizers, including those that induce sparsity, to be imposed on a dictionary of vector-valued Reproducing Kernel Hilbert Spaces. We develop a highly scalable and eigendecomposition-free algorithm that orchestrates two inexact solvers for simultaneously learning both the input and output components of separable matrix-valued kernels. As a key application enabled by our framework, we show how high-dimensional causal inference tasks can be naturally cast as sparse function estimation problems, leading to novel nonlinear extensions of a class of Graphical Granger Causality techniques. Our algorithmic developments and extensive empirical studies are complemented by theoretical analyses in terms of Rademacher generalization bounds.

연구 동기 및 목표

• 고차원 다변량 회귀에서 벡터가치 커널 방법의 계산 불가능성을 해결하기 위해 행렬가치 커널의 확장 가능한 학습을 가능하게 한다.
• 벡터가치 재생 핵 힐베르트 공간(RKHS)의 사전(dictionary)에서 혼합-노름 정규화를 통해 구조적 희소성 지원 프레임워크를 개발한다.
• 고차원 시간 시리즈에서 인과 추론을 비선형 함수 추정 문제로 변환함으로써 비선형 그랑저 인과관계 추정을 가능하게 한다.
• 제안된 벡터가치 가설 집합에 대한 라데마처 복잡도 경계를 통해 이론적 보장을 제공한다.
• 시간적 경과 데이터를 기반으로 한 마이크로어레이 데이터로부터 생물학적으로 타당한 유전자 조절 네트워크를 밝혀내어 계산 생물학 분야에서의 활용도를 입증한다.

제안 방법

• 혼합-노름 정규화를 사용한 벡터가치 RKHS의 사전을 활용한 일반적인 행렬가치 다중 커널 학습 프레임워크를 제안하여 희소성과 구조적 학습을 유도한다.
• 스칼라 입력 커널과 양의 준정적 출력 행렬로 구성된 분리 가능한 행렬가치 커널에 초점을 맞추어 보편적 근사와 확장성 확보.
• 입력 및 출력 커널 성분을 공동 최적화하기 위한 확장 가능한 알고리즘을 개발하며, 선형 시스템에 대한 공액 기울기법과 빠른 희소 정수형 프로그래밍 해법을 활용한 근사해법을 조율한다.
• 비용이 많이 드는 고유분해를 피하기 위해 수렴 보장을 갖춘 블록 좌표 강하 전략을 사용하여 내부 하위문제를 해결한다.
• 커널 가중치의 희소성이 시간 시리즈의 인과 관계에 대응하는 새로운 제안된 공식을 도입하여 비선형 그래픽 그랑저 인과관계 추정을 가능하게 한다.
• 가설 공간에 대한 라데마처 복잡도 경계를 유도하여 다중 커널 학습의 일반화 이론을 백터가치 다중 커널 학습으로 확장한다.

실험 결과

연구 질문

• RQ1 비선형 다변량 회귀에 행렬가치 커널을 사용하여 확장 가능한 일반적 프레임워크를 개발할 수 있는가?
• RQ2 고유분해 없이 입력 및 출력 커널 성분을 효율적으로 공동 최적화할 수 있는가?
• RQ3 커널 조합의 구조적 희소성이 비선형 환경에서도 시간 시리즈에서의 해석 가능한 인과 추론을 가능하게 할 수 있는가?
• RQ4 혼합-노름 정규화를 적용한 백터가치 다중 커널 학습에 대해 이론적 일반화 경계를 어떻게 확립할 수 있는가?
• RQ5 이 프레임워크는 고차원 시간 시리즈 오믹스 데이터에서 생물학적으로 의미 있는 인과 관계를 밝혀낼 수 있는가?

주요 결과

• 제안된 알고리즘은 시간 시리즈 데이터에서 뛰어난 예측 성능를 보였으며, 입력 및 출력 커널 학습을 모두 포함한 비선형 모델이 35개의 기능적 유전자 그룹에서 가장 낮은 테스트 RMSE를 기록했다.
• 비선형 모델은 도라마필라 유전자 네트워크에서 헬리카제 활동이 중심적인 인과적 드라이버임을 성공적으로 규명했으며, 이는 선형 모델이 놓친 관계였다.
• 선형 모델은 지질 결합과 세포막 기능 간의 잘못된 인과 관계를 유추한 반면, 비선형 모델은 이들을 비틀린 단백질 결합 및 ATPase 활동과 올바르게 연결했다.
• 출력 커널 행렬 추정을 통해 분자 쇼핑래스트, ATPase 활동, 비틀린 단백질 결합 간의 생물학적으로 타당한 그룹 내 의존성 관계를 드러냈다.
• 비용이 많이 드는 고유분해를 피하기 위해 근사해법을 활용한 확장성 확보를 통해 이전 연구에서 사용된 방법과 대비하여 성능 향상을 보였다.
• 라데마처 복잡도 경계를 도출하여 제안된 백터가치 다중 커널 학습 설정에서 일반화의 이론적 근거를 제공했다.