[논문 리뷰] Ising Models with Latent Conditional Gaussian Variables

Frank Nussbaum, Joachim Giesen|arXiv (Cornell University)|2019. 01. 28.

Bayesian Modeling and Causal Inference참고 문헌 22인용 수 4

한 줄 요약

이 논문은 상호작용 파라미터를 희소성과 저질서 구조로 분해함으로써 잠재 조건부 정규 변수를 가진 이징 모델을 학습하기 위한 볼록 최적화 프레임워크를 제안한다. 이 방법은 동시에 희소성과 저질서 구조를 촉진하는 정규화된 우도 접근법을 사용하여, 잠재 변수가 간접적 상호작용을 유도하는 고차원 설정에서 일致된 추정을 가능하게 한다.

ABSTRACT

Ising models describe the joint probability distribution of a vector of binary feature variables. Typically, not all the variables interact with each other and one is interested in learning the presumably sparse network structure of the interacting variables. However, in the presence of latent variables, the conventional method of learning a sparse model might fail. This is because the latent variables induce indirect interactions of the observed variables. In the case of only a few latent conditional Gaussian variables these spurious interactions contribute an additional low-rank component to the interaction parameters of the observed Ising model. Therefore, we propose to learn a sparse + low-rank decomposition of the parameters of an Ising model using a convex regularized likelihood problem. We show that the same problem can be obtained as the dual of a maximum-entropy problem with a new type of relaxation, where the sample means collectively need to match the expected values only up to a given tolerance. The solution to the convex optimization problem has consistency properties in the high-dimensional setting, where the number of observed binary variables and the number of latent conditional Gaussian variables are allowed to grow with the number of training samples.

연구 동기 및 목표

• 관측된 이진 변수 간에 잠재 조건부 정규 변수에 의해 유도되는 허위 간접 상호작용이 발생할 경우 표준 희소 이징 모델 학습이 실패하는 문제를 해결하기 위해.
• 유도된 상호작용을 관측된 이징 모델의 상호작용 행렬에서 저질서 성분으로 모델링하기 위해.
• 동시에 상호작용 파라미터의 희소성과 저질서 구조를 촉진하는 볼록 정규화된 우도 최적화 문제를 개발하기 위해.
• 관측 변수 수와 잠재 변수 수가 표본 크기와 함께 증가하는 고차원 설정에서 추정기의 일치성을 확립하기 위해.
• 스펙트럼 노름 완화를 통한 최대 엔트로피 원리에 의한 이중 해석을 제공하여, 이론적 원리와 정보 이론적 원리 간의 연결을 맺기 위해.

제안 방법

• 양의 정부호 제약 조건을 만족시키는 조건 하에, 이중 변수 S(희소)와 L1−L2(저질서)를 포함하는 볼록 정규화된 로그우도 최대화 문제로 문제를 설정한다.
• 모멘트 매칭 제약 조건에 대한 스펙트럼 노름 완화를 사용하여 개별 허용 오차 범위를 집합적 스펙트럼 허용 오차 λ로 대체한다.
• 이중 문제를 ℓ(S + L1 − L2) − c‖S‖₁ − λ·tr(L1 + L2)의 최대화로 유도하며, 여기서 L1, L2 ⪰ 0 이고 ℓ는 로그우도 함수이다.
• 해결책을 관측된 이징 모델의 상호작용 행렬을 직접 상호작용(희소 성분)과 잠재 변수를 통한 간접 상호작용(저질서 성분)으로 분해하는 것으로 해석한다.
• 스펙트럼 노름 완화가 적용된 최대 엔트로피 문제와의 등가성을 확립하여, 이론적 통계적 기반을 제공한다.
• 잠재 변수와 관측된 이징 모수 간의 관계를 유도하기 위해 근사 조건부 정규 모델을 사용하며, 이로 인해 유도된 상호작용 행렬이 저질서 구조를 가짐을 보여준다.

실험 결과

연구 질문

• RQ1 소수의 잠재 조건부 정규 변수에 의해 발생하는 직접 상호작용과 간접 상호작용을 효과적으로 분리할 수 있는 볼록 최적화 프레임워크가 이징 모델에서 유의미한가?
• RQ2 상호작용 행렬의 희소 + 저질서 분해가 고차원 설정에서 일치된 추정을 이끌어내는가?
• RQ3 모멘트 매칭 제약 조건의 스펙트럼 노름 완화가 이중 정규화된 로그우도 최적화 문제와 어떻게 관련되는가?
• RQ4 저질서 성분의 통계적 해석은 잠재 변수에 의해 유도된 의존성과 어떻게 관련되는가?
• RQ5 제안된 방법이 새로운 유형의 완화를 적용한 최대 엔트로피 문제의 이중 문제로 유도될 수 있는가?

주요 결과

• 이 방법은 잠재 조건부 정규 변수에 의해 발생하는 간접 상호작용을 관측된 이징 모델의 상호작용 행렬에 저질서 성분으로 효과적으로 모델링한다.
• 제안된 볼록 정규화된 우도 최적화 문제는 관측된 이진 변수 수와 잠재 변수 수가 표본 크기와 함께 증가하는 고차원 설정에서 일치성을 확보한다.
• 이중 문제의 해석은 상호작용 파라미터의 희소 + 저질서 분해에 해당하며, 저질서 부분은 스펙트럼 노름 완화에 기인한다.
• 스펙트럼 노름 완화는 양의 정부호 행렬에 대한 트레이스 펜alties를 포함하는 이중 형식을 유도하여 해의 저질서 구조를 촉진한다.
• 이 방법은 새로운 유형의 완화를 적용한 최대 엔트로피 원리에 기반하며, 정보 이론적 원리와 연결되어 엄밀한 통계적 기반을 제공한다.
• 근사 조건부 정규 모델 유도 과정을 통해 유도된 상호작용 행렬이 RᵀΛ⁻¹R 비례로 저질서 구조를 가짐을 확인하여, 저질서 가정의 타당성을 뒷받침한다.