[논문 리뷰] Convex Regularization for High-Dimensional Tensor Regression

Garvesh Raskutti, Ming Yuan|arXiv (Cornell University)|2015. 12. 03.

Sparse and Compressive Sensing Techniques인용 수 17

한 줄 요약

이 논문은 일반적인 공변수 간의 의존성 하에서 저차원 텐서 구조를 추정하기 위해 약한 분해 가능(regularizer)을 사용하는 볼록 최적화 프레임워크를 제안한다. 이 프레임워크는 고차원 텐서 회귀 문제에 적용되며, 가우시안 폭과 내재 차원을 기반으로 일반적인 리스크 경계를 수립하고, 다중 반응 회귀, 벡터 자기회귀 모형, 저질서 텐서 회귀 등의 모형에서 최소 최대 최적 성능을 입증한다.

ABSTRACT

In this paper we present a general convex optimization approach for solving high-dimensional tensor regression problems under low-dimensional structural assumptions. We consider using convex and \emph{weakly decomposable} regularizers assuming that the underlying tensor lies in an unknown low-dimensional subspace. Within our framework, we derive general risk bounds of the resulting estimate under fairly general dependence structure among covariates. Our framework leads to upper bounds in terms of two very simple quantities, the Gaussian width of a convex set in tensor space and the intrinsic dimension of the low-dimensional tensor subspace. These general bounds provide useful upper bounds on rates of convergence for a number of fundamental statistical models of interest including multi-response regression, vector auto-regressive models, low-rank tensor models and pairwise interaction models. Moreover, in many of these settings we prove that the resulting estimates are minimax optimal.

연구 동기 및 목표

• 일반적인 저차원 구조 가정 하에 고차원 텐서 회귀 문제에 대해 일반적인 볼록 최적화 방법을 개발하는 것.
• 공변수 간 일반적인 의존성 구조 하에서 추정 오차를 분석하는 것.
• 텐서 공간의 기하학적 성질, 예를 들어 가우시안 폭과 내재 차원에 따라 리스크 경계를 유도하는 것.
• 다중 반응 회귀 및 저질서 텐서 모형과 같은 기본 모형들에 대해 최소 최대 최적성을 확립하는 것.

제안 방법

• 추정된 텐서의 저차원 구조를 촉진하기 위해 볼록적이고 약한 분해 가능 정규화를 사용한다.
• 텐서 공간 내 볼록 집합의 가우시안 폭에 기반한 일반적인 리스크 경계를 도출한다.
• 기본 저차원 텐서 부분공간의 내재 차원을 기반으로 수렴 속도를 표현한다.
• 다중 반응 회귀, 벡터 자기회귀 모형, 쌍별 상호작용 모형과 같은 다양한 모형에 프레임워크를 적용한다.
• 고차원 통계학에서의 기하학적 도구를 활용하여 일반적인 공변수 의존성 하에서 추정 오차를 분석한다.
• 정규화, 기하학, 통계적 리스크를 연결하는 통합 프레임워크를 통해 이론적 보장을 확립한다.

실험 결과

연구 질문

• RQ1 일반적인 의존성 하에서 통합된 볼록 최적화 프레임워크가 고차원 텐서 회귀에서 최소 최대 최적 속도를 달성할 수 있는가?
• RQ2 가우시안 폭과 내재 차원과 같은 기하학적 성질이 텐서 회귀에서 추정 오차에 어떻게 영향을 미치는가?
• RQ3 약한 분해 가능 정규화가 저차원 텐서 구조의 최적 복원에 어떻게 기여하는가?
• RQ4 유도된 리스크 경계가 다중 반응 회귀 및 저질서 텐서 모형과 같은 다양한 모형에 얼마나 적용 가능한가?
• RQ5 이 프레임워크는 이론적 최적성을 유지하면서도 복잡한 공변수 간 의존성 구조를 처리할 수 있는가?

주요 결과

• 제안된 프레임워크는 다중 반응 회귀, 벡터 자기회귀 모형, 저질서 텐서 모형, 쌍별 상호작용 모형에서 최소 최대 최적 추정 속도를 달성한다.
• 리스크 경계는 텐서 부분공간의 두 가지 기본 기하학적 양인 가우시안 폭과 내재 차원을 기반으로 표현된다.
• 공변수 간 일반적인 의존성 구조에 대해 적용 가능하며, 독립성 또는 서브가우시안 가정이 필요하지 않다.
• 약한 분해 가능 정규화의 사용은 텐서 공간 내 구조적 희박성에 의해 추정 오차를 엄격하게 제어할 수 있도록 한다.
• 통합된 방식으로 이론적 보장을 도출하여, 동일한 프레임워크가 여러 기본 모형에서 최적 속도를 제공함을 보여준다.
• 결과적으로 볼록 정규화가 고차원 및 복잡한 텐서 회귀 환경에서도 최적 수렴 속도를 달성할 수 있음을 입증한다.