[논문 리뷰] Integrative Multi-View Reduced-Rank Regression: Bridging Group-Sparse and Low-Rank Models

Gen Li, Xiaokang Liu외 1명|arXiv (Cornell University)|2018. 07. 26.

Sparse and Compressive Sensing Techniques참고 문헌 39인용 수 3

한 줄 요약

이 논문은 통합 감소질량 회귀(iRRR)를 제안하며, 각 시각에 맞는 낮은 질량 계수 행렬을 사용하여 다중 고차원 예측자 시각을 함께 모델링함으로써 감독형 잠재 기능 추출을 가능하게 하는 볼록 방법이다. 복합 핵심 노름 페널티를 통해 그룹 스파arsity와 낮은 질량 구조를 연결함으로써, 그룹 스파arsity 또는 낮은 질량 방법보다 더 빠른 수렴을 달성한다. 이는 이론적 오라클 경계와 시뮬레이션 및 노화 연구 데이터에서의 실증적 검증을 통해 입증된다.

ABSTRACT

Multi-view data have been routinely collected in various fields of science and engineering. A general problem is to study the predictive association between multivariate responses and multi-view predictor sets, all of which can be of high dimensionality. It is likely that only a few views are relevant to prediction, and the predictors within each relevant view contribute to the prediction collectively rather than sparsely. We cast this new problem under the familiar multivariate regression framework and propose an integrative reduced-rank regression (iRRR), where each view has its own low-rank coefficient matrix. As such, latent features are extracted from each view in a supervised fashion. For model estimation, we develop a convex composite nuclear norm penalization approach, which admits an efficient algorithm via alternating direction method of multipliers. Extensions to non-Gaussian and incomplete data are discussed. Theoretically, we derive non-asymptotic oracle bounds of iRRR under a restricted eigenvalue condition. Our results recover oracle bounds of several special cases of iRRR including Lasso, group Lasso and nuclear norm penalized regression. Therefore, iRRR seamlessly bridges group-sparse and low-rank methods and can achieve substantially faster convergence rate under realistic settings of multi-view learning. Simulation studies and an application in the Longitudinal Studies of Aging further showcase the efficacy of the proposed methods.

연구 동기 및 목표

• 다양한 시각에서 예측 모델링을 해결하기 위해, 예측자들이 각 시각 내에서 공동으로 기여하고, 그 중 일부 시각만 관련이 있을 경우에 대비한다.
• 다중 예측 변수를 가진 다변량 회귀를 위한 그룹 스파arsity와 낮은 질량 모델링을 통합하는 통합 프레임워크를 개발한다.
• 각 시각에서의 시각별 낮은 질량 계수 행렬을 통해 각 시각으로부터 감독형 잠재 기능 추출을 가능하게 한다.
• 제한된 고유값 조건 하에서 비점근적 오라클 경계를 수립하여 이론적 성능 보장을 한다.
• 더 넓은 적용 가능성을 위해 비정규 분포 및 완전하지 않은 데이터 설정으로 방법을 확장한다.

제안 방법

• 각 예측자 시각에 대해 고유한 낮은 질량 계수 행렬을 가진 통합 감소질량 회귀(iRRR) 모델을 제안한다.
• 각 시각 내에서 낮은 질량 구조를 장려하고, 시각 간 그룹 스파arsity를 유도하기 위해 볼록 복합 핵심 노름 페널티를 사용한다.
• 벌점 가능도 문제의 효율적 최적화를 위해 다중 승수 방법의 교차 방법(ADMM)을 활용한다.
• 제한된 고유값 조건 하에서 이론적 오라클 경계를 유도하며, Lasso, 그룹 Lasso, 핵심 노름 회귀의 경계를 일반화한다.
• 적절한 가능도 및 보간 전략을 사용하여 비정규 분포 반응 및 완전하지 않은 데이터 설정으로 프레임워크를 확장한다.
• 각 시각의 계수 행렬을 낮은 질량 성분으로 간주하여, 각 시각 내에서 예측자들이 공동 기여할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 통합된 회귀 프레임워크는 공동 기여 및 스파arsity가 아닌 기여를 하는 다수의 고차원 예측자 시각을 효과적으로 모델링할 수 있는가?
• RQ2 낮은 질량과 그룹 스파arsity 구조를 다중 시각 학습을 위한 볼록 최적화 프레임워크에 동시에 통합할 수 있는가?
• RQ3 실제 고차원 조건에서 이러한 모델에 대해 어떤 이론적 성능 보장을 확립할 수 있는가?
• RQ4 기존의 그룹 스파arsity 또는 낮은 질량 방법보다 제안된 방법이 더 빠른 수렴 속도를 달성하는가?
• RQ5 비정규 분포 및 완전하지 않은 관측치를 포함한 실제 데이터에서 이 방법의 성능은 어떠한가?

주요 결과

• 실제 다중 시각 학습 설정 하에서 iRRR 방법은 Lasso, 그룹 Lasso, 핵심 노름 페널티 회귀보다 더 빠른 수렴 속도를 달성한다.
• 제한된 고유값 조건 하에서 비점근적 오라클 경계를 이론적으로 확립하였으며, 특수 케이스에 대한 알려진 경계를 일반화한다.
• 이 방법은 Lasso, 그룹 Lasso, 낮은 질량 회귀의 오라클 경계를 특수 케이스로 성공적으로 복원하여 이론적 강건성을 확인한다.
• 시뮬레이션 연구를 통해 다양한 다중 시각 구성에서 예측 정확도와 변수 선택 성능이 향상됨을 보여준다.
• 장기적 노화 연구에의 응용을 통해, 공동 효과를 가지는 관련 다중 시각 예측자들을 식별하는 데에 방법의 실용적 유용성을 확인한다.
• 비정규 분포 및 완전하지 않은 데이터로의 확장은 안정적인 성능을 보이며, 실제 적용 가능성 향상에 기여한다.