[논문 리뷰] Learning Structure of Partial Markov Random Field via Partitioned Ratio

Song Liu, Taiji Suzuki외 1명|arXiv (Cornell University)|2015. 04. 02.

Face and Expression Recognition참고 문헌 31인용 수 1

한 줄 요약

이 논문은 마르코프 무작위 필드에서 부분 연결성을 분해하여 '브릿지'라고 불리는 부분 그래프 구조로 연결하는 새로운 개념인 '분할 비율'을 도입한다. 이는 가우시안성을 가정하지 않고도 효율적으로 희박한 인수분해를 학습할 수 있는 일회성 최적화 방법을 제안하며, 올바른 이원 조건부 독립성 인수분해를 복원할 수 있는 충분한 조건을 설정한다.

ABSTRACT

A new concept, \emph{partitioned ratio} is proposed to find the partial connectivity of the Markov random field. First we argue this partitioned ratio has a profound with the Markov properties of random variables via its factorization. Specifically, partitioned ratio may be further decomposed into \emph{Bridges}, a novel subgraph structure, capturing the partial connectivity of the Markov random field, which can be roughly considered as the link structure between two partitions. Second, a simple one-shot optimization is illustrated to learn the sparse factorizations of partitioned ratio efficiently, regardless the Gaussianity of the joint distribution or the marginal distributions. Third, we show the sufficient conditions for the proposed algorithm recovering the correct \emph{pairwise} bridge factorizations.

연구 동기 및 목표

• 완전성 또는 이원 마르코프 성질을 초월하여 마르코프 무작위 필드에서 부분 연결성을 학습하는 데 도전하는 것.
• 분포 가정에 의존하지 않고 그래프 모델 내의 분할 간 구조적 연결을 식별하는 방법을 개발하는 것.
• 희박한 인수분해를 위한 계산적으로 효율적인 일회성 최적화 프레임워크를 제공하는 것.
• 알고리즘이 올바르게 이원 브릿지 인수분해를 복원할 수 있는 이론적 조건을 설정하는 것.

제안 방법

• 조건부 독립성 구조를 분석하여 마르코프 무작위 필드의 부분 연결성을 포착하는 데 사용할 수 있는 새로운 측정법으로 분할 비율을 제안한다.
• 두 개의 분할 간 연결을 나타내는 새로운 부분 그래프 구조인 '브릿지'를 도입하여 부분 연결성을 체계화한다.
• 반복적 개선을 피하기 위해 분할 비율의 희박한 인수분해를 학습하기 위한 일회성 최적화 절차를 개발한다.
• 최적화를 분포에 관계없이 적용 가능하도록 설계하여, 결합 분포 또는 근사 분포가 가우시안인지 여부에 관계없이 적용 가능하도록 한다.
• 알고리즘이 높은 확률로 올바른 이원 브릿지 인수분해를 복원할 수 있는 충분한 조건을 유도한다.
• 분할 비율의 인수분해 성질을 활용하여 구조 학습을 조건부 독립성과 그래프 분해를 통해 연결한다.

실험 결과

연구 질문

• RQ1 어떻게 새로운 구조 측정법을 사용하여 마르코프 무작위 필드의 부분 연결성을 체계적으로 포착할 수 있는가?
• RQ2 그래프 모델에서 분할 간 연결을 표현하는 데 있어 '브릿지' 부분 그래프의 역할은 무엇인가?
• RQ3 분포 가정 없이도 분할 비율의 희박한 인수분해를 효율적으로 학습할 수 있는 일회성 최적화 방법이 가능한가?
• RQ4 제안된 알고리즘이 올바른 이원 브릿지 인수분해를 복원할 수 있는 조건은 무엇인가?

주요 결과

• 분할 비율은 인수분해를 통해 마르코프 무작위 필드의 부분 연결성을 분석할 수 있는 새로운 이론적 프레임워크를 제공한다.
• 분할 비율의 분해는 분할 간 의존성을 포착하는 기본적인 부분 그래프 구조인 '브릿지'를 드러낸다.
• 제안된 일회성 최적화 방법은 가우시안 가정 없이도 효율적인 희박한 인수분해 학습을 가능하게 한다.
• 알고리즘이 모델에서 올바른 이원 브릿지 인수분해를 정확히 복원할 수 있는 충분한 조건이 설정된다.
• 이 방법은 비가우시안 분포에 대해 강건하여 기존의 가우시안 그래프 모델의 적용 범위를 초월한다.
• 이론적 기반은 분할 비율의 인수분해를 조건부 독립성을 통한 랜덤 변수의 마르코프 성질과 연결한다.