[논문 리뷰] Tucker Tensor Regression and Neuroimaging Analysis

Xiaoshan Li, Hua Zhou외 1명|arXiv (Cornell University)|2013. 04. 20.

Tensor decomposition and applications참고 문헌 23인용 수 19

한 줄 요약

이 논문은 텐서 예측 변수의 저질서 구조를 활용하여 고차원 신경영상 데이터를 효율적으로 추정하기 위해 터커 분해를 활용하는 터커 텐서 회귀 모델을 제안한다. 이 방법은 칼리브라-라이블러 발산 기준으로 최적의 터커 근사치를 일致적으로 추정할 수 있으며, 시뮬레이션 및 실제 fMRI 데이터에서 CP 기반 모델보다 우수한 성능을 보이며, 특히 정규화를 적용했을 때 ADHD 분류에서 더 낮은 오분류 오차를 기록한다.

ABSTRACT

Large-scale neuroimaging studies have been collecting brain images of study individuals, which take the form of two-dimensional, three-dimensional, or higher dimensional arrays, also known as tensors. Addressing scientific questions arising from such data demands new regression models that take multidimensional arrays as covariates. Simply turning an image array into a long vector causes extremely high dimensionality that compromises classical regression methods, and, more seriously, destroys the inherent spatial structure of array data that possesses wealth of information. In this article, we propose a family of generalized linear tensor regression models based upon the Tucker decomposition of regression coefficient arrays. Effectively exploiting the low rank structure of tensor covariates brings the ultrahigh dimensionality to a manageable level that leads to efficient estimation. We demonstrate, both numerically that the new model could provide a sound recovery of even high rank signals, and asymptotically that the model is consistently estimating the best Tucker structure approximation to the full array model in the sense of Kullback-Liebler distance. The new model is also compared to a recently proposed tensor regression model that relies upon an alternative CANDECOMP/PARAFAC (CP) decomposition.

연구 동기 및 목표

• 신경영상 데이터를 텐서로 분석할 때 전통적인 회귀 분석에서 발생하는 초고차원성과 구조적 손실 문제를 해결하기 위해.
• 다차원 영상 데이터의 공간적 구조를 유지하면서도 유연하고 저질서의 텐서 회귀 프레임워크를 개발하기 위해.
• 추정 정확도, 모델의 탄력성, 계산 효율성 측면에서 터커와 CP 텐서 분해를 비교하기 위해.
• 칼리브라-라이블러 발산 기준으로 전체 배열 모델을 근사하는 데 있어 터커 기반 추정의 渐近 일致성을 확립하기 위해.
• 차원 감소된 텐서 예측 변수를 사용한 시뮬레이션과 실제 ADHD fMRI 분류를 통해 방법의 실용적 유용성을 입증하기 위해.

제안 방법

• 모델은 각 모드에 따라 요소 행렬을 곱한 核 텐서로 표현된 회귀 계수 배열을 터커 분해를 통해 표현함으로써 자유 매개변수의 수를 줄인다.
• 일반화선형모형은 반응 변수의 기대값에 링크 함수를 적용하며, 선형 예측 변수는 계수 배열과 텐서 예측 변수 간의 내적을 포함한다.
• 일반화선형모형 프레임워크 내에서 터커 매개변수를 효율적으로 추정하기 위해 빠른 교차방향 다중승수법(ADMM) 알고리즘을 개발하였다.
• 정규화는 터커 핵 텐서와 요소 행렬에 그룹 라소 페널티를 적용하여 추정의 안정성을 향상시키고 과적합을 방지한다.
• 터커 모델링 이전에 원본 이미지 텐서 크기를 줄이기 위해 웨이블릿 변환(Haar 및 Daubechies D4)을 통한 차원 감소 기법을 포함한다.
• 모델 선택은 표본 크기 대 매개변수 수의 비율에 대한 히우리스틱 규칙을 사용하여 정규분포 및 로지스틱 회귀 설정 모두에서 안정성을 확보한다.

실험 결과

연구 질문

• RQ1 복잡한 비정확한 저질서 신호를 지닌 신경영상 데이터에 대해, CP 기반 텐서 회귀보다 더 탄력적이고 정확한 대안으로서 터커 텐서 회귀가 가능할 수 있는가?
• RQ2 텐서 예측 변수를 벡터화하는 것과 비교해 터커 분해가 공간적 구조를 어떻게 유지하고 추정 효율성을 향상시키는가?
• RQ3 칼리브라-라이블러 발산 기준으로 전체 배열 모델을 근사하는 데 있어 터커 기반 추정의 渐近 행동은 어떠한가?
• RQ4 정규화와 차원 감소가 ADHD fMRI 데이터와 같은 실제 신경영상 데이터 세트에서 분류 성능에 어떤 영향을 미치는가?
• RQ5 고차원 영상 회귀에서 터커와 CP 텐서 모델 간의 상대적 계산 효율성과 예측 정확도는 어떠한가?

주요 결과

• 칼리브라-라이블러 발산 기준으로 터커 기반 추정이 전체 배열 모델에 대한 최적의 터커 근사치를 일致적으로 추정함을 渐近 이론으로 입증하였다.
• 시뮬레이션 결과에서 터커 모델은 복잡한 기저 구조를 지닌 고계수 신호조차도 성공적으로 복원하여 복잡한 구조에 대한 강건성을 보였다.
• 실제 ADHD fMRI 데이터에서 정규화된 터커 모델은 Daubechies D4 웨이블릿과 10×12×10 차원 축소를 적용했을 때 오분류 오차율 0.320을 기록하여 테스트된 모든 다른 모델보다 뛰어난 성능을 보였다.
• 정규화된 터커 모델은 모든 설정에서 가장 낮은 오차율을 보였으며, CP 기반 모델 대비 3.3%에서 10%까지 향상된 성능을 기록하였다.
• 모델 피팅 시간은 터커와 CP 모델 간에 유사했으며, 정규화된 설정에서는 터커 모델이 더 효율적이었으며(예: 10×12×10 데이터에서 1.92초 대비 1.90초), 비정규화 설정에서는 CP 모델이 더 느렸다.
• 터커 모델은 각 모드에서 랭크 매개변수를 조절할 수 있는 탄력성 덕분에 고정된 랭크를 가지는 CP 모델보다 모델 복잡도와 표본 크기 제약 조건 간의 더 우수한 트레이드오���을 가능하게 하였다 (예: R₁=2, R₂=2, R₃=3).