[논문 리뷰] Vector-Space Markov Random Fields via Exponential Families

Wesley Tansey, Oscar Hernán Madrid Padilla외 2명|arXiv (Cornell University)|2015. 05. 19.

Markov Chains and Monte Carlo Methods참고 문헌 12인용 수 9

한 줄 요약

이 논문은 다항분포나 딘슈레트 분포와 같은 임의의 벡터 공간에 속할 수 있는 변수를 허용하는 지수족 그래픽 모델의 일반화인 벡터 공간 마르코프 무작위 필드(VS-MRFs)를 소개한다. 이 방법은 ADMM 최적화를 사용하는 스파스 그룹 라소 기반 M-추정기법을 적용하여 스파스시스턴트 구조 학습을 달성하고, 미프니스팔의 실제 식품 데이터 및 시뮬레이션 데이터에서 참 그래픽 구조를 성공적으로 복원한다.

ABSTRACT

We present Vector-Space Markov Random Fields (VS-MRFs), a novel class of undirected graphical models where each variable can belong to an arbitrary vector space. VS-MRFs generalize a recent line of work on scalar-valued, uni-parameter exponential family and mixed graphical models, thereby greatly broadening the class of exponential families available (e.g., allowing multinomial and Dirichlet distributions). Specifically, VS-MRFs are the joint graphical model distributions where the node-conditional distributions belong to generic exponential families with general vector space domains. We also present a sparsistent $M$-estimator for learning our class of MRFs that recovers the correct set of edges with high probability. We validate our approach via a set of synthetic data experiments as well as a real-world case study of over four million foods from the popular diet tracking app MyFitnessPal. Our results demonstrate that our algorithm performs well empirically and that VS-MRFs are capable of capturing and highlighting interesting structure in complex, real-world data. All code for our algorithm is open source and publicly available.

연구 동기 및 목표

• 기존의 혼합 그래픽 모델을 단변량, 단모수 지수족을 초월하여 다모수, 벡터 값 분포(예: 다항분포 및 딘슈레트 분포)를 허용하도록 확장한다.
• 노드 조건부 분포가 일반적인 지수족이며 일반적인 벡터 공간 정의역을 가진, 원칙적인 공동 그래픽 모델 프레임워크를 개발한다.
• 고차원의 벡터 공간 MRF에서의 기저 그래픽 구조 학습을 위한 확장 가능하고 스파스시스턴트 M-추정기법을 설계한다.
• 시뮬레이션 데이터와 MyFitnessPal에서 수집한 400만 개 이상의 식품을 포함한 실제 세계 데이터셋에서 방법을 검증하여 의미 있는 구조를 드러내는 능력을 입증한다.

제안 방법

• 임의의 벡터 공간에서 일반적인 지수족의 노드 조건부 분포와 일관된 공동 분포로 벡터 공간 MRF(VS-MRFs)를 제안한다.
• 기존의 스칼라 및 단모수 모델을 일반화하기 위해, 벡터 공간에서 조건부 분포로부터 공동 분포를 유도하기 위해 허머슬리-클리포드 유사 분석을 수행한다.
• 그래픽 모델의 구조에서 희소성을 촉진하기 위해 스파스 그룹 라소 정규화를 사용하는 M-추정기법을 도입한다.
• M-추정 문제를 효율적이고 확장 가능한 방식으로 해결하기 위해 ADMM 기반 최적화 알고리즘을 활용한다.
• 약한 정규성 조건과 상호 비일관성 가정 하에 엄밀한 이중 탇성 가시성과 이웃 복원 조건을 확립함으로써 이론적 스파스시스턴트 보장 조건을 유도한다.
• 추정기법이 비연결 변수를 정확히 배제하고 참 이웃 구조를 복원함을 확인하기 위해 이중 분해 접근법을 사용한다.

실험 결과

연구 질문

• RQ1 기존의 혼합 그래픽 모델을 다항분포 및 딘슈레트 분포와 같은 다모수 지수족을 다룰 수 있도록 일반화할 수 있는가?
• RQ2 노드 조건부 분포가 임의의 벡터 공간 정의역을 가질 수 있도록 공동 그래픽 모델을 구성할 수 있으며, 마르코프 임의 필드 성질을 유지할 수 있는가?
• RQ3 스파스 그룹 라소 정규화를 적용한 제안된 M-추정기법이 벡터 공간 MRF에서 스파스시스턴트 구조 학습을 달성할 수 있는가?
• RQ4 복잡하고 이질적인 변수 유형을 가진 고차원의 실제 세계 데이터에서 의미 있고 해석 가능한 구조를 회복할 수 있는가?

주요 결과

• 제안된 VS-MRF 프레임워크는 스칼라 및 단모수 혼합 MRF를 다항분포 및 딘슈레트 분포를 포함한 다모수 지수족으로 성공적으로 일반화한다.
• 스파스 그룹 라소 기반 M-추정기법은 증명 가능한 스파스시스턴트 성질을 지녀, 적절한 정규성 조건 하에서 참 그래픽 구조를 높은 확률로 복원한다.
• ADMM 기반 최적화 알고리즘은 대규모 데이터셋(예: 400만 건이 넘는 항목을 포함한 MyFitnessPal 식품 데이터베이스)에서도 확장 가능한 학습을 가능하게 한다.
• MyFitnessPal 사례 연구에서 학습된 VS-MRF는 생물학적 및 영양학적 의미 있는 구조를 드러내었으며, 지방, 탄수화물, 단백질과 같은 근육 영양소가 네트워크의 중심 허브로 부각되었다.
• 시뮬레이션 실험을 통해 다양한 데이터 유형과 구성에서 기저 그래픽 구조가 정확히 복원됨을 확인하였다.
• 이론적 분석 결과, 정규화 매개변수 값이 정밀도 행렬의 상호 비일관성에 상대적으로 특정 범위 내에 있을 경우, 엄밀한 이중 탇성 가시성과 이웃 복원이 달성 가능하다.