[논문 리뷰] Hinge-Loss Markov Random Fields and Probabilistic Soft Logic

Stephen H. Bach, Matthias Broecheler외 2명|arXiv (Cornell University)|2015. 05. 17.

Bayesian Modeling and Causal Inference참고 문헌 103인용 수 129

한 줄 요약

이 논문은 힌지 손실 마르코프 무작위 필드(HL-MRFs)와 확률적 소프트 논리(PSL)를 소개한다. PSL은 구조적 데이터를 위한 확장 가능한 확률적 프로그래밍 언어이다. 랜덤 알고리즘의 볼록 추론, 局소 일致성 완화, 퍼지 논리의 통합을 통해 HL-MRFs는 힌지 손실 잠재변수를 사용하여 ADMM 기반 메시지 전달을 통한 효율적이고 확장 가능한 MAP 추론을 가능하게 하며, 이는 이산 모델과 유사한 정확도를 달성하면서도 대규모 관계형 데이터셋에까지 스케일링할 수 있다.

ABSTRACT

A fundamental challenge in developing high-impact machine learning technologies is balancing the need to model rich, structured domains with the ability to scale to big data. Many important problem areas are both richly structured and large scale, from social and biological networks, to knowledge graphs and the Web, to images, video, and natural language. In this paper, we introduce two new formalisms for modeling structured data, and show that they can both capture rich structure and scale to big data. The first, hinge-loss Markov random fields (HL-MRFs), is a new kind of probabilistic graphical model that generalizes different approaches to convex inference. We unite three approaches from the randomized algorithms, probabilistic graphical models, and fuzzy logic communities, showing that all three lead to the same inference objective. We then define HL-MRFs by generalizing this unified objective. The second new formalism, probabilistic soft logic (PSL), is a probabilistic programming language that makes HL-MRFs easy to define using a syntax based on first-order logic. We introduce an algorithm for inferring most-probable variable assignments (MAP inference) that is much more scalable than general-purpose convex optimization methods, because it uses message passing to take advantage of sparse dependency structures. We then show how to learn the parameters of HL-MRFs. The learned HL-MRFs are as accurate as analogous discrete models, but much more scalable. Together, these algorithms enable HL-MRFs and PSL to model rich, structured data at scales not previously possible.

연구 동기 및 목표

• 지식 그래프, 소셜 네트워크, 자연어와 같은 richly structured이고 대규모인 데이터를 모델링할 때의 확장성-표현력 간 상충 문제를 해결하기 위해.
• 랜덤 MAX SAT 알고리즘, MRF에서의 국소 일치성 완화, 퍼지 논리의 세 가지 상이한 접근 방식을 하나의 볼록 추론 프레임워크로 통합하기 위해.
• 연속적인 [0,1]-값을 가지는 변수와 힌지 손실 특징을 사용하여 이산 MRFs를 일반화하는 새로운 확률 그래픽 모델인 HL-MRF를 개발하기 위해.
• HL-MRFs를 쉽게 지정할 수 있도록 일阶논리 기반의 고수준 확률 프로그래밍 언어인 PSL을 설계하기 위해.
• 스parser 의존성 구조를 활용하여 공통 최적화와 ADMM를 사용한 HL-MRFs의 확장 가능한 MAP 추론 및 매개변수 학습을 가능하게 하기 위해.

제안 방법

• HL-MRFs는 확률 밀도가 연속적인 [0,1] 변수 위에서의 힌지 손실 함수들의 가중합에 비례하는 무향 그래픽 모델로 정의된다.
• 추론 목표는 MAX SAT 완화(Goemans-Williamson), 국소 일치성 완화(Wainwright-Jordan), 퍼지 논리 추론을 통합하여 유도되며, 이는 모두 동일한 볼록 최적화 문제로 이어진다.
• MAP 추론은 교차 방향 방법의 다중변수(ADMM)를 사용한 공통 최적화를 통해 수행되며, 힌지 손실 잠재변수에 대해 분석적으로 해결 가능한 부분 문제로 문제를 분해한다.
• 이 방법은 그래픽 모델 내의 희소 의존성 구조를 활용하여 일반적인 볼록 최적화나 샘플링 기반 추론보다 뛰어난 성능을 발휘한다.
• PSL은 일阶논리 규칙을 사용하여 HL-MRFs를 정의하는 고수준 문법을 제공하며, 도메인/범위 제약 조건, 차단 함수, 집계 변수를 지원한다.
• 매개변수 학습은 동일한 확장 가능한 추론 파이프라인을 사용하여 힌지 손실 특징을 최적화하는 프레임워크를 통해 가능해진다.

실험 결과

연구 질문

• RQ1 랜덤 알고리즘, 국소 일치성 완화, 퍼지 논리에서 유도된 통합 볼록 추론 프레임워크가 구조적 예측을 위해 유도될 수 있는가?
• RQ2 힌지 손실 잠재변수를 사용하여 표현력과 확장성의 균형을 이루는 새로운 종류의 확률 그래픽 모델을 정의할 수 있는가?
• RQ3 ADMM 기반 메시지 전달 추론이 대규모 관계형 모델에 대해 일반적인 볼록 최적화보다 현저히 뛰어난 확장성을 달성할 수 있는가?
• RQ4 결과로 도출된 HL-MRF 모델이 이산 MRFs와 유사한 정확도를 보이며 연속적이고 대규모 데이터에 적용 가능한가?
• RQ5 PSL와 같은 고수준 프로그래밍 언어가 HL-MRFs를 실세계의 구조적 데이터 응용에 접근 가능하고 실용적으로 만들 수 있는가?

주요 결과

• HL-MRFs는 연속적인 [0,1] 변수와 힌지 손실 특징을 사용함으로써 이산 MRFs를 일반화하며, 연결성 제약 없이 볼록 추론을 가능하게 한다.
• 랜덤 알고리즘, 국소 일치성, 퍼지 논리에서 도출된 통합 추론 목표는 동일한 볼록 프로그램으로 이어지며, HL-MRFs의 이론적 기반을 확립한다.
• HL-MRFs의 MAP 추론은 분석적 부분 문제 해결을 통해 ADMM를 사용하여 해결되며, 이는 일반적인 볼록 솔버를 초월한 확장성을 가능하게 한다.
• 학습된 HL-MRFs는 관계형 데이터 실험에서 이에 해당하는 이산 모델과 유사한 정확도를 달성한다.
• PSL는 일阶논리 문법을 사용하여 HL-MRFs의 간편한 지정을 가능하게 하며, 오픈소스 도구를 통해 배포가 가능하다.
• 논리적 합집합 문장 잠재변수의 국소 일치성 완화 값이 Goemans-Williamson MAX SAT 완화와 동일하다는 것이 입증되었으며, 이는 이론적 동치성을 입증한다.