[논문 리뷰] Partially Observed Dynamic Tensor Response Regression

Jie Zhou, Will Wei Sun외 2명|arXiv (Cornell University)|2020. 02. 22.

Tensor decomposition and applications참고 문헌 65인용 수 7

한 줄 요약

이 논문은 신경영상 및 디지털 광고 응용 분야에서 외부 공변량이 있는 부분적으로 관측된 동적 텐서 반응에 대해 비볼록 텐서 회귀 프레임워크를 제안한다. 이 방법은 계수 텐서의 저랭크, 희소성 및 시간적 융합 구조를 활용하여, 관측되지 않은 항목을 함께 모델링하고 시간적 매끄러움을 활용함으로써 우수한 추정 정확도를 달성한다. 기존의 텐서 복원 및 회귀 방법보다 뛰어난 성능을 보인다.

ABSTRACT

In modern data science, dynamic tensor data is prevailing in numerous applications. An important task is to characterize the relationship between such dynamic tensor and external covariates. However, the tensor data is often only partially observed, rendering many existing methods inapplicable. In this article, we develop a regression model with partially observed dynamic tensor as the response and external covariates as the predictor. We introduce the low-rank, sparsity and fusion structures on the regression coefficient tensor, and consider a loss function projected over the observed entries. We develop an efficient non-convex alternating updating algorithm, and derive the finite-sample error bound of the actual estimator from each step of our optimization algorithm. Unobserved entries in tensor response have imposed serious challenges. As a result, our proposal differs considerably in terms of estimation algorithm, regularity conditions, as well as theoretical properties, compared to the existing tensor completion or tensor response regression solutions. We illustrate the efficacy of our proposed method using simulations, and two real applications, a neuroimaging dementia study and a digital advertising study.

연구 동기 및 목표

• 실제 응용 분야인 신경영상 및 디지털 광고에서 흔히 발생하는 텐서 반응이 부분적으로 관측될 경우의 감독 텐서 학습 문제를 해결하기 위해.
• 관측되지 않은 텐서 항목을 함께 모델링하고 시간적 매끄러움을 활용하여, 누락된 값을 忽시하거나 개별적으로 처리하는 것보다 추정 정확도를 향상시키기 위해.
• 차원 감소와 해석 가능성 향상을 위해 회귀 계수 텐서에 저랭크 및 희소성 구조를 통합하기 위해.
• 기존의 비감독 텐서 복원 또는 스칼라-온-텐서 회귀 방법과 구별되는 이론적으로 탄탄한 추정 절차와 유한 표본 오차 경계를 제공하기 위해.
• 시뮬레이션과 두 가지 실제 응용 분야(알츠하이머병 신경영상 및 디지털 광고 클릭률 예측)를 통해 방법의 유효성을 입증하기 위해.

제안 방법

• 응답이 부분적으로 관측된 동적 텐서이고 예측변수는 외부 공변량인 회귀 모델을 제안하며, 계수 텐서는 저랭크, 희소성 및 시간적 매끄러움을 갖도록 제약을 둔다.
• 손실 함수를 관측된 텐서 항목 위주로 투영하여, 관측되지 않은 값에 대한 가정을 피하고 완전하지 않은 데이터에 직접 최적화를 가능하게 한다.
• 구조화된 정규화를 갖는 목적 함수를 최적화하기 위해 효율적인 비볼록 ADMM(상향식 다중 승수 방법) 기반 알고리즘을 개발한다.
• 시간대 간의 융합 페널티를 도입하여 계수 텐서의 매끄러움을 장려하고, 반응-예측 변수 관계의 시간적 동적 특성을 포착한다.
• 저랭크 구조 유도를 위해 핵노름 페널티를, 희소성 구조 유도를 위해 그룹 라소 페널티를 각각 적용하여 차원 감소와 해석 가능성을 향상시킨다.
• 알고리즘의 반복 단계에서 추정기의 유한 표본 오차 경계를 유도하여 수렴성과 추정 정확도에 대한 이론적 근거를 제공한다.

실험 결과

연구 질문

• RQ1 부분적으로 관측된 동적 텐서 반응과 외부 공변량 간의 관계를 누락 데이터 패턴을 고려하여 어떻게 모델링할 수 있는가?
• RQ2 계수 텐서에 대한 구조적 가정(예: 저랭크, 희소성, 시간적 매끄러움) 중 어떤 것이 누락된 데이터 상황에서 추정 정확도 향상에 기여하는가?
• RQ3 고도로 누락된 데이터를 가진 실제 데이터에 적용했을 때, 제안된 방법은 기존의 텐서 복원 및 텐서 회귀 기법보다 어떻게 비교되는가?
• RQ4 이 방법은 각각 신경영상 데이터와 디지털 광고 데이터에서 생물학적·행동적으로 의미 있는 패턴을 탐지할 수 있는가?
• RQ5 부분적으로 관측된 설정에서 시간적 매끄러움을 忽시하거나 오직 완전히 관측된 항목에 국한하여 분석할 경우 추정 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 시뮬레이션과 실제 데이터에서 모두 기존의 텐서 복원 및 스칼라-온-텐서 회귀 접근법보다 뛰어나며, 특히 디지털 광고에서 95%의 누락률과 같은 높은 누락 비율 상황에서도 뛰어난 성능을 보였다.
• 신경영상 연구에서는 알려진 위축 부위(해마 및 내측 시간엽)를 성공적으로 식별하였고, 알츠하이머병 병리학과 일치하는 뇌 영역 38번 브롬안 영역의 조기 손상도 탐지하였다.
• 디지털 광고 응용에서는 '온라인 데이팅' 광고가 주말에 클릭률이 높고 월요일에는 낮으며, '투자' 광고는 평일에 더 잘 작동한다는 사실을 드러내어 최적의 광고 배분 전략 수립에 도움을 주었다.
• 시간적 매끄러움을 忽시하거나 오직 완전히 관측된 항목에 국한하여 분석할 경우 추정 정확도에 상당한 손실이 발생한다는 것이 확인되었다.
• 알고리즘의 반복 단계에 대한 유한 표본 오차 경계는 이론적 일致성과 방법의 성능에 대한 엄밀한 기반을 확인하였다.
• 이 방법은 거의 무작위로 누락된 패턴에 대해 강건한 반면, MAGEE 및 STORE와 같이 95% 이상의 누락 데이터를 가진 데이터셋에는 적용 불가능한 것으로 나타났다.