[논문 리뷰] A Sequence of Relaxations Constraining Hidden Variable Models

Greg Ver Steeg, Aram Galstyan|arXiv (Cornell University)|2011. 06. 08.

Advanced Optimization Algorithms Research참고 문헌 18인용 수 10

한 줄 요약

이 논문은 잠재 변수 모델에 대해 다항형 제곱합(sum-of-squares)과 준선형계획법(semidefinite programming)을 사용한 볼록 근사의 연속을 도입하여 점차 더 날카운 선형부등식 제약조건—'잠재변수 검증'—을 생성한다. 이 방법은 사회망에서의 상관관계에 대해 잠재적 유사성(동질성)이 유일한 설명이 될 수 없음을 가능하게 하며, 실제 데이터에서 관찰된 影響 효과가 잠재적 유사성만으로 예측되는 범위를 초월함을 보여준다.

ABSTRACT

Many widely studied graphical models with latent variables lead to nontrivial constraints on the distribution of the observed variables. Inspired by the Bell inequalities in quantum mechanics, we refer to any linear inequality whose violation rules out some latent variable model as a "hidden variable test" for that model. Our main contribution is to introduce a sequence of relaxations which provides progressively tighter hidden variable tests. We demonstrate applicability to mixtures of sequences of i.i.d. variables, Bell inequalities, and homophily models in social networks. For the last, we demonstrate that our method provides a test that is able to rule out latent homophily as the sole explanation for correlations on a real social network that are known to be due to influence.

연구 동기 및 목표

• 잠재 변수 모델에서 관측 가능한 분포에 대해 점차 더 날카운 제약조건을 체계적으로 생성하는 방법을 개발하는 것.
• 기존 방법의 범위를 초월하여 특정 잠재 구조를 배제하는 선형부등식인 '잠재변수 검증'을 구성하는 일반적 프레임워크를 제공하는 것.
• 사회망에서 영향력과 잠재적 유사성 간의 구분 문제를 다루며, 둘 다 유사한 관측 상관관계를 유도할 수 있기 때문이다.
• 양자 시스템 외의 시스템, 예를 들어 i.i.d. 혼합모형과 사회망 모형에 대해 벨 불등식(Bell inequalities)의 개념을 확장하는 것.
• 유일성 식별이 불가능한 잠재 모델을 계산적으로 실현 가능한 방법으로 테스트하기 위해 수렴하는 볼록 근사 기법을 활용하는 것—유리한 경우 정확한 제약조건으로 수렴함.

제안 방법

• 이 방법은 주어진 잠재 변수 모델과 일치하는 관측 가능한 분포 집합을 근사하기 위해 다항형 제곱합(SOS) 최적화를 사용한 볼록 근사의 연속을 구성한다.
• 관측 가능한 확률을 미지의 조건부 분포에 대한 다항식으로 모델링함으로써 준선형계획법을 활용해 점차 더 날카운 경계를 계산할 수 있다.
• 대부분의 모델에 대해 적용 가능한 대수기하학 도구를 활용하여, 그래프 모델의 잠재 루트와 i.i.d. 혼합 모델을 포함한 광범위한 클래스의 모델에 대해 제약조건을 유도한다.
• 관측 가능한 분포 공간이 볼록인 경우(예: 단일 잠재 루트 모델), 이 근사 연속은 정확히 진짜 제약조건 집합으로 수렴한다.
• 이 프레임워크는 특정 관측량(예: 상관관계 기반 통계량)을 구성할 수 있으며, 이 관측량의 기대값은 잠재적 유사성 하에서 경계가 존재하므로 통계적 검증이 가능하다.
• 실제 사회망 데이터에 적용하기 위해, 유사성 하에서 영향력 강도에 대한 경계를 유도하고, 이를 관측된 데이터와 비교한다.

실험 결과

연구 질문

• RQ1 잠재적 유사성(예: 사회망에서의 잠재적 유사성)과 같은 특정 잠재 변수 모델을 배제하는 점차 더 날카운 제약조건의 연속을 생성할 수 있는가?
• RQ2 잠재적 유사성과 같은 잠재 변수 모델이 사회망에서 관측된 상관관계를 어느 정도 설명할 수 있으며, 언제 이를 배제할 수 있는가?
• RQ3 볼록 근사로부터 유도된 경계가 양자 유사 시스템(예: 벨 불등식)에서 알려진 경계와 어떻게 비교되는가?
• RQ4 관측된 상관관계에 대해 잠재적 유사성을 유일한 설명으로 배제하기 위해 필요한 최소 수준의 영향력은 어느 정도인가?
• RQ5 제시된 방법은 유한하거나 이산적인 잠재 구조를 갖는 모델 외의 일반적인 잠재 변수 모델에 적용 가능한가?

주요 결과

• 잠재적 유사성 하에서 관측 가능한 상관관계에 대한 경계를 성공적으로 도출하였으며, T=6일 때 유사성 하에서 테스트 관측량의 최대 기대값이 ≤0.302임을 보였다.
• 실제 사회망에서 관측된 상관관계는 유사성 경계를 초월하여, 잠재적 유사성이 데이터의 유일한 설명이 될 수 없음을 배제할 수 있었다.
• 영향력 확률 λ를 갖는 모델에서 관측량 𝒪의 기대값 ⟨𝒪⟩_inf = λ 이며, 잠재적 유사성 하에서는 ⟨𝒪⟩_SLH ≤ 0.302 (T=6) 이므로 명확한 검증 가능한 경계를 제공한다.
• 관측 가능한 분포 공간이 볼록인 경우(예: 단일 잠재 루트 노드 모델), 근사 연속은 정확히 수렴한다.
• 이 방법은 양자 시스템 외의 시스템에 대해 벨 불등식 유형의 추론을 일반화하여 사회적 및 확률 모델의 잠재 구조에 대한 새로운 검증을 가능하게 한다.
• T<4일 경우 유사성 경계는 자명하게(≤1) 되며, 이는 짧은 시계열에서는 이 관측량으로 유사성을 배제할 수 없음을 시사하며, 더 긴 시계열이 필요함을 강조한다.