[논문 리뷰] Equivariant and scale-free Tucker decomposition models

Peter D. Hoff|arXiv (Cornell University)|2013. 12. 22.

Tensor decomposition and applications참고 문헌 21인용 수 4

한 줄 요약

이 논문은 이산적 또는 순서적 배열 데이터에 대해 직교 변환에 대해 불변이며 척도에 영향을 받지 않는 베이지안 기반 모델 기반 터커 분해를 제안한다. 불변 사전분포와 코어 배열의 정규화를 통해 최소제곱 방법에 비해 추정 성능을 향상시켜 고차원 또는 정규분포가 아닌 설정에서도 특히 유리하며, 다층 사회 네트워크와 같은 다변량 상관관계 데이터의 강건한 저질서 모델링을 가능하게 한다.

ABSTRACT

Analyses of array-valued datasets often involve reduced-rank array approximations, typically obtained via least-squares or truncations of array decompositions. However, least-squares approximations tend to be noisy in high-dimensional settings, and may not be appropriate for arrays that include discrete or ordinal measurements. This article develops methodology to obtain low-rank model-based representations of continuous, discrete and ordinal data arrays. The model is based on a parameterization of the mean array as a multilinear product of a reduced-rank core array and a set of index-specific orthogonal eigenvector matrices. It is shown how orthogonally equivariant parameter estimates can be obtained from Bayesian procedures under invariant prior distributions. Additionally, priors on the core array are developed that act as regularizers, leading to improved inference over the standard least-squares estimator, and providing robustness to misspecification of the array rank. This model-based approach is extended to accommodate discrete or ordinal data arrays using a semiparametric transformation model. The resulting low-rank representation is scale-free, in the sense that it is invariant to monotonic transformations of the data array. In an example analysis of a multivariate discrete network dataset, this scale-free approach provides a more complete description of data patterns.

연구 동기 및 목표

• 고차원, 노이즈가 많은, 또는 정규분포가 아닌 배열 데이터에서 최소제곱 터커 분해의 한계를 해결하기 위해.
• 불변 사전분포를 사용하여 직교 불변성의 매개변수 추정치를 제공하는 베이지안 프레임워크를 개발하기 위해.
• 코어 배열에 정규화 사전분포를 도입하여 추론 성능 향상과 질서 수준의 잘못 지정에 대한 강건성을 향상시키기 위해.
• 단조성 함수를 통한 반모수적 변환을 통해 이산적 또는 순서적 데이터로의 모델 확장을 시도하여, 단조성 변환에 대한 척도에 영향을 받지 않는 불변성을 유지하기 위해.
• 실제 다변량 상관관계 데이터, 예를 들어 GDELT 프로젝트에서의 다층 사회 네트워크에서의 방법의 우수성을 입증하기 위해.

제안 방법

• 다중선형 터커 분해 모델을 사용: $\mathbf{Y} = \mathbf{S} \times \{\mathbf{U}_1, \dots, \mathbf{U}_K\} $, 여기서 $\mathbf{S}$ 는 감소된 질서의 코어 배열이고 $\mathbf{U}_k$ 는 직교 요소 행렬이다.
• 직교 변환군에 대한 우측 불변 헤어 사전분포를 도입하여 직교 불변 후행 추정치를 보장한다.
• 코어 배열 $\mathbf{S}$ 에 계층적 사전분포를 적용하여 정규화 효과를 부여함으로써 추정 안정성 향상과 과적합 감소를 도모한다.
• 의미 있는 평균이 코어와 단조성 링크 함수를 통해 연결되는 반모수적 변환 모델을 사용하여 이산/순서적 데이터로의 모델 확장을 수행한다.
• 계층적 베이지안 모델 하에서 후행 분포를 계산하기 위해 마르코프 체인 몬테카를로(MCMC) 방법을 활용한다.
• 관측된 배열 요소의 단조성 변환에 대해 후행 분포가 불변이 되도록 함으로써 척도에 영향을 받지 않는 불변성을 확보한다.

실험 결과

연구 질문

• RQ1 요소 행렬의 직교 변환에 대해 불변인 베이지안 터커 분해를 구성할 수 있는가?
• RQ2 코어 배열의 정규화는 고차원 배열 데이터에서 추정 정확도 향상과 질서 수준의 잘못 지정에 대한 강건성 향상에 어떻게 기여하는가?
• RQ3 이산적 또는 순서적 배열 데이터를 처리할 수 있도록 모델을 확장할 수 있으며, 동시에 단조성 변환에 대해 불변성을 유지할 수 있는가?
• RQ4 제안된 척도에 영향을 받지 않는 모델 기반 접근법은 비대칭적, 이산적 다변량 네트워크 데이터에서 표준 최소제곱 터커 분해보다 우수한 성능을 보일 수 있는가?
• RQ5 실제 상관관계 데이터셋, 예를 들어 GDELT 다층 네트워크와 같은 실제 다변량 관계 데이터셋에서 의미 있는 저질서 구조를 어떻게 잘 포착하는가?

주요 결과

• 직교군에 대한 불변 헤어 사전분포의 사용으로 인해 제안된 베이지안 모델이 직교 불변 후행 추정치를 제공한다.
• 코어 배열에 대한 계층적 사전분포를 통한 정규화는 특히 고차원 설정에서 표준 최소제곱 추정기보다 향상된 추정 성능을 이끌어낸다.
• 모델 기반 접근법은 배열 질서의 잘못 지정에 대해 강건하며, 코어 배열에 대한 사전분포가 자연스럽게 과적합을 억제하기 때문이다.
• 이산적 및 순서적 데이터의 경우 반모수적 변환 모델이 척도에 영향을 받지 않는 불변성을 보장하여, 저질서 표현이 데이터의 단조성 변환에 대해 불변이 되도록 한다.
• GDELT 응용 사례에서 척도에 영향을 받지 않는 모델은 최소제곱 방법보다 다변량 상관관계 패턴을 더 완전하고 대표적인 방식으로 기술하였다.
• 이 방법은 30 × 30 × 52 × 20 크기의 네 개의 차원을 가진 다층 외교 행동 배열에서 이질적인 패턴을 성공적으로 포착하였으며, 비대칭적, 카운트 기반 데이터에서 표준 방법보다 뛰어난 성능을 보였다.