[논문 리뷰] Learning Mixed Graphical Models

Jason D. Lee, Trevor Hastie|arXiv (Cornell University)|2012. 05. 22.

Machine Learning and Data Classification참고 문헌 30인용 수 15

한 줄 요약

이 논문은 연속형 및 이산형 변수를 통합하기 위해 대칭 그룹-라소 페널티를 사용하는 새로운 쌍별 그래픽 모델을 제안한다. 이는 조건부 분포를 가우시안 선형 회귀와 다중분류 로지스틱 회귀로 모델링하여 구조 학습을 위한 가짜우도를 통해 최대우도보다 유한 표본에서 더 나은 성능을 보이는 가우시안 그래픽 모델과 이산 마르코프 무작위 필드를 일반화한다.

ABSTRACT

We consider the problem of learning the structure of a pairwise graphical model over continuous and discrete variables. We present a new pairwise model for graphical models with both continuous and discrete variables that is amenable to structure learning. In previous work, authors have considered structure learning of Gaussian graphical models and structure learning of discrete models. Our approach is a natural generalization of these two lines of work to the mixed case. The penalization scheme involves a novel symmetric use of the group-lasso norm and follows naturally from a particular parametrization of the model.

연구 동기 및 목표

• 연속형 및 이산형 변수를 모두 포함하는 그래픽 모델 학습을 위한 통합 프레임워크가 부족한 문제를 해결하기 위해.
• 순수 연속형(가우시안 그래픽 모델) 및 순수 이산형(마르코프 무작위 필드) 설정에서의 희박 구조 학습 기존 방법을 일반화하기 위해.
• 혼합 변수 그래픽 모델에서 공동 매개변수 추정 및 구조 학습을 위한 계산적으로 실현 가능한 방법을 개발하기 위해.
• 스칼라, 벡터, 행렬 등 이질적인 매개변수 블록 간에 공정한 페널티를 부여하기 위해 校정된 그룹-라소 기반의 방법을 확보하기 위해.
• 유한 표본 영역에서 가짜우도와 최대우도, 별도의 회귀 접근법 간의 성능을 평가하기 위해.

제안 방법

• 조건부 분포에 가우시안 선형 회귀 및 다중분류 로지스틱 회귀 성분을 조합한 연속형-연속형, 연속형-이산형, 이산형-이산형 잠재함수를 사용하는 쌍별 마르코프 무작위 필드를 제안한다.
• 모든 간선 유형에 따라 매개변수를 그룹화한 연속-연속, 연속-이산, 이산-이산 잠재함수로 모델을 매개변수화한다.
• 그래픽 구조의 희박성을 유도하기 위해 매개변수 블록(스칼라, 벡터, 행렬)에 대칭 그룹-라소 페널티를 적용한다.
• 다양한 크기의 매개변수 블록 간에 공정한 페널티를 부여하기 위해 校정된 가중치 부여 체계를 도입한다.
• 완전 우도의 계산이 어려운 문제를 해결하기 위해 계산이 용이한 가짜우도를 사용하여 노드별 회귀를 통한 효율적 최적화를 가능하게 한다.
• 혼합 출력을 갖는 다변량 반응 회귀를 위한 조건부 무작위 필드 모델로 프레임워크를 확장한다.

실험 결과

연구 질문

• RQ1 혼합 연속형 및 이산형 변수에 대해 가우시안 그래픽 모델과 이산 쌍별 마르코프 무작위 필드를 모두 일반화하는 통합 그래픽 모델을 구성할 수 있는가?
• RQ2 혼합 변수 모델에서 이질적인 매개변수 블록(스칼라, 벡터, 행렬) 간에 대칭적이고 공정한 희박성 유도 정규화를 어떻게 적용할 수 있는가?
• RQ3 제안된 모델에서 가짜우도 추정이 유한 표본 영역에서 최대우도 및 별도의 회귀 방법보다 우수한가?
• RQ4 일부 변수를 특징으로 간주하는 조건부 모델과 전체 생성 모델 간의 성능는 어떻게 비교되는가?
• RQ5 모델 校정 및 정규화가 혼합 변수 설정에서 구조 학습 정확도에 어떤 영향을 미치는가?

주요 결과

• 제안된 모델은 가우시안 그래픽 모델과 이산 쌍별 마르코프 무작위 필드를 일반화하며, 각각의 특수 케이스에서 이를 축소한다.
• 유한 표본 영역에서 가짜우도 추정이 최대우도보다 뛰어나며, 특히 작은 학습 크기에서 전역 정규화 효과로 인해 성능 향상이 뚜렷하다.
• 가짜우도 접근법은 특히 낮은 표본 크기에서 별도의 회귀 모델과 유사하거나 더 우수한 성능을 보이며, 전체 공동 분포 추론이 가능하다.
• 교정된 그룹-라소 페널티는 크기가 다른 매개변수 블록 간에 공정한 페널티를 부여하여 구조 학습의 일관성을 향상시킨다.
• 예측 성능 측면에서 조건부 모델은 전체 생성 모델보다 뛰어나지만, 매우 작은 표본 크기에서는 생성 모델이 더 빨리 수렴한다.
• 인구 조사 데이터 및 시뮬레이션 실험의 실증 결과는 제안된 방법이 향상된 유한 표본 안정성과 함께 정확한 구조 학습을 달성함을 확인한다.