[논문 리뷰] Provable Tensor Methods for Learning Mixtures of Generalized Linear Models

Hanie Sedghi, Majid Janzamin외 1명|arXiv (Cornell University)|2014. 12. 09.

Tensor decomposition and applications참고 문헌 28인용 수 11

한 줄 요약

이 논문은 입력의 삼차 점수 함수 변환을 활용하고 응답 변수와 이를 교차상관시켜, 일반화선형모형(GLMs) 혼합모형을 학습하기 위한 증명 가능 텐서 방법을 제안한다. 이 방법은 약한 비퇴화 조건 하에서 텐서 분해를 통해 GLM 구성 요소의 매개변수를 일관되게 복원함을 보장하며, 입력 차원과 잠재 차원에 대해 저차수 다항식 수준의 표본 및 계산 복잡도를 갖는다.

ABSTRACT

We consider the problem of learning mixtures of generalized linear models (GLM) which arise in classification and regression problems. Typical learning approaches such as expectation maximization (EM) or variational Bayes can get stuck in spurious local optima. In contrast, we present a tensor decomposition method which is guaranteed to correctly recover the parameters. The key insight is to employ certain feature transformations of the input, which depend on the input generative model. Specifically, we employ score function tensors of the input and compute their cross-correlation with the response variable. We establish that the decomposition of this tensor consistently recovers the parameters, under mild non-degeneracy conditions. We demonstrate that the computational and sample complexity of our method is a low order polynomial of the input and the latent dimensions.

연구 동기 및 목표

• EM 및 변분 베이즈와 같은 히우리스틱 방법의 한계를 해결하기 위해, GLM 혼합모형 학습에서 종종 허위 국소 최적해로 수렴하는 문제를 해결하고자 한다.
• 기존 최적화 기반 접근 방식의 국소 최적해 문제를 극복하고, GLM 혼합모형에서 모델 매개변수를 일관되게 복원할 수 있는 방법을 개발하고자 한다.
• 입력 분포에 맞게 조정된 점수 함수 변환을 통합하여, 비선형 모형으로의 모멘트 방법 원리의 확장하고자 한다.
• GLM 혼합모형에서 매개변수 복원에 대한 표본 복잡도와 계산 효율성에 이론적 보장을 수립하고자 한다.

제안 방법

• 이 방법은 입력의 확률밀도함수의 정규화된 삼차 도함수에서 유도된 제3차 점수 함수 텐서 $\mathcal{S}_3(x)$를 특징 변환으로 사용한다.
• 응답 변수 $y$와 입력 점수 함수 간의 교차모멘트 텐서 $\mathbb{E}[y \cdot \mathcal{S}_3(x)]$를 구성하며, 이는 잠재 GLM 구성 요소에 대한 정보를 담고 있다.
• 이 교차모멘트 텐서에 텐서 분해를 적용하여, 스케일링을 제외한 GLM 구성 요소의 가중치 벡터 $\{u_i\}$를 복원한다.
• 텐서의 전처리를 위해 화이트닝 절차를 사용하여, 거듭제곱 반복을 통한 효율적이고 안정적인 스펙트럼 분해를 가능하게 한다.
• 다중 무작위 초기화와 임계값 처리를 포함한 강건한 텐서 거듭제곱 방법을 사용하여, 혼합 구성 요소에 해당하는 모든 순위 1 성분을 식별하고 추출한다.
• 텐서 분해 이후, 최종적으로 EM 단계를 적용하여 정규화되지 않은 가중치를 보정하고, 정규화 조건이 없을 경우에도 모델 매개변수를 완전히 복원한다.

실험 결과

연구 질문

• RQ1 약한 비퇴화 조건 하에서, 텐서 기반 방법이 일반화선형모형 혼합모형의 매개변수를 일관되게 복원할 수 있는가?
• RQ2 왜 제2차 점수 함수는 부족하고, 제3차 점수 함수가 일관된 복원을 위해 필수적인가?
• RQ3 GLM 구성 요소 가중치의 $\epsilon$-정확한 복원을 달성하기 위해 필요한 표본 복잡도는 얼마인가?
• RQ4 입력 차원 $d$, 구성 요소 수 $r$, 그리고 가중치 행렬의 최소 특이값 $s_{\min}(U)$에 대해 이 방법의 스케일링은 어떻게 되는가?
• RQ5 초기 텐서 분해가 스케일링을 제외한 가중치만 복원할 경우, 이 방법을 EM과 조합하여 정규화된 가중치를 완전히 복원할 수 있는가?

주요 결과

• 교차모멘트 텐서 $\mathbb{E}[y \cdot \mathcal{S}_3(x)]$의 분해를 통해, 약한 비퇴화 조건 하에서 GLM 구성 요소의 가중치 벡터 $\{u_i\}$를 일관되게 복원할 수 있다.
• $\epsilon$-정확한 복원을 위한 표본 복잡도는 $\tilde{O}\left(\frac{d^3 r^4}{\epsilon^2 s_{\min}^2(U)}\right)$이며, 이는 $d$, $r$, 및 $1/\epsilon$에 대해 저차수 다항식 수준이다.
• 제2차 점수 함수 $\mathcal{S}_2(x)$는 구성 요소를 부분공간 내에서만 식별할 수 있어, 완전한 복원을 위해 제3차 텐서가 필요하다.
• 구성 요소 수가 입력 차원을 초과할 경우, 일관성을 유지하기 위해 고차수 점수 함수(예: 제4차)를 사용할 수 있다.
• 텐서 분해 과정은 강건하고 확장 가능하며, 거듭제곱 방법은 허위 국소 최적해를 피하고, 이 방법은 매우 병렬 처리가 가능하다.
• 텐서 초기화와 EM을 조합하면 수렴 성능이 크게 향상되고, 특히 고차원 설정에서 정규화된 가중치를 완전히 복원할 수 있다.