[논문 리뷰] Tensor Graphical Model: Non-convex Optimization and Statistical Inference

Xiang Lyu, Will Wei Sun외 4명|arXiv (Cornell University)|2016. 09. 15.

Tensor decomposition and applications참고 문헌 91인용 수 4

한 줄 요약

이 논문은 텐서 그래픽 모델에서 크로네커 구조 공분산 가정 하에 희박 정밀 행렬을 추정하기 위한 비볼록 최적화 프레임워크인 Tlasso를 제안한다. 최적 수렴 속도를 확립하고, 거짓 발동률 제어를 갖춘 비편향 추론 절차를 개발하여, K ≥ 3일 때 단일 텐서 샘플이 있는 경우에도 타당한 통계적 검정을 가능하게 한다.

ABSTRACT

We consider the estimation and inference of graphical models that characterize the dependency structure of high-dimensional tensor-valued data. To facilitate the estimation of the precision matrix corresponding to each way of the tensor, we assume the data follow a tensor normal distribution whose covariance has a Kronecker product structure. A critical challenge in the estimation and inference of this model is the fact that its penalized maximum likelihood estimation involves minimizing a non-convex objective function. To address it, this paper makes two contributions: (i) In spite of the non-convexity of this estimation problem, we prove that an alternating minimization algorithm, which iteratively estimates each sparse precision matrix while fixing the others, attains an estimator with an optimal statistical rate of convergence. (ii) We propose a de-biased statistical inference procedure for testing hypotheses on the true support of the sparse precision matrices, and employ it for testing a growing number of hypothesis with false discovery rate (FDR) control. The asymptotic normality of our test statistic and the consistency of FDR control procedure are established. Our theoretical results are backed up by thorough numerical studies and our real applications on neuroimaging studies of Autism spectrum disorder and users' advertising click analysis bring new scientific findings and business insights. The proposed methods are encoded into a publicly available R package Tlasso.

연구 동기 및 목표

• 고차원 텐서 값 데이터에서 조건부 이상독립 구조를 크로네커 구조 공분산 모델을 사용하여 추정하기 위해.
• 텐서 그래픽 모델에서 비볼록 페널티가 부가된 우도 추정의 과제를 해결하기 위해.
• 정밀 행렬 추정을 위한 계산적으로 효율적인 알고리즘과 증명 가능한 통계적 보장을 개발하기 위해.
• 거짓 발동률 제어를 통한 희박 정밀 행렬의 지지 집합에 대한 타당한 통계적 추론을 가능하게 하기 위해.
• 실제 신경영상 및 광고 클릭 데이터 응용 분야에서의 방법의 유용성을 입증하기 위해.

제안 방법

• Tlasso는 번갈아가며 다른 모드의 정밀 행렬를 고정한 채 각 모드별 정밀 행렬을 반복적으로 추정하는 대안 최소화 알고리즘으로, 최적 수렴 속도를 달성한다.
• 이 방법은 텐서 공분산을 모델링하기 위해 크로네커 곱의 구조를 가진 페널티가 부가된 우도 목표 함수를 사용하여 차원 감소를 가능하게 한다.
• 개별 엣지 요소의 정밀 행렬에 대한 점근 정규 분포 추론을 가능하게 하기 위해 비편향 검정 통계량을 구성한다.
• 비편향 검정 통계량에 대한 데이터 기반 임계값 설정 절차를 통해 거짓 발동률(FDR) 제어를 달성한다.
• 이론적 분석을 통해 정규성 조건 하에 추정 속도의 최소최대 최적성과 FDR 제어의 일致성을 입증한다.
• 알고리즘은 재현 가능 연구를 위해 공개된 R 패키지 Tlasso에 구현되어 있다.

실험 결과

연구 질문

• RQ1 대안 최소화 알고리즘이 비볼록 텐서 그래픽 모델 추정에서 최적의 통계적 속도를 달성할 수 있는가?
• RQ2 제안된 비편향 추론 절차는 고차원 설정 하에서 점근적으로 정규 분포를 갖는 검정 통계량을 도출하는가?
• RQ3 거짓 발동률 제어된 다중 검정을 텐서 그래픽 모델의 엣지 선택에 일관되게 적용할 수 있는가?
• RQ4 특히 K ≥ 3일 때, 단일 텐서 샘플이 있는 경우 이 방법의 성능은 어떠한가?
• RQ5 유한 표본에서 텐서의 차원과 표본 크기가 증가함에 따라 방법의 스케일링 성능은 어떠한가?

주요 결과

• Tlasso 알고리즘은 각 모드별 정밀 행렬에 대해 프로베니우스 노름 수렴 속도로 √(mₖ(mₖ + sₖ)log mₖ / (n m))를 달성하며, 이는 최소최대 최적이다.
• 비대칭 조건 하에서, 이 방법은 최대 노름에서 √(mₖ log mₖ / (n m)) 속도와 스펙트럼 노름에서 dₖ√(mₖ log mₖ / (n m)) 속도를 달성하며, 둘 다 최적이다.
• 비편향 검정 통계량은 작은 표본 크기에서도 점근적으로 정규 분포를 보이며, 시뮬레이션에서 QQ 플롯으로 확인되었다.
• 실제 FDP(Falsely Discovered Proportion)는 이론적 한계 τ와 밀접하게 일치하며, 사전 설정된 수준(5% 및 10%)에서 FDR 제어가 유지된다.
• 표본 크기가 증가함에 따라 실질적 검정력은 100%에 수렴하며, 10×10×10 텐서와 근접 이웃 구조에서 n ≥ 20일 때에도 충분한 검정력(예: 70% 이상)을 확보할 수 있다.
• 이 방법은 자폐 스펙트럼 장애 fMRI 데이터에서 생물학적으로 관련 있는 연결 패턴을 성공적으로 식별하였고, 광고 클릭 데이터에서 의미 있는 사용자 행동 구조를 파악하였다.