[논문 리뷰] Nonparametric Bayesian Logic

Peter Carbonetto, Jacek Kisyński외 2명|arXiv (Cornell University)|2012. 07. 04.

Bayesian Methods and Mixture Models참고 문헌 15인용 수 32

한 줄 요약

이 논문은 비모수 베이지안 사고를 도입하여 BLOG 언어를 확장함으로써, 기능 공간에 비모수 베이지안 사전분포—특히 딜레트르 과정—를 도입하여 알 수 없는 수의 객체와 그 속성들을 모델링한다. 교환가능성의 성질을 활용함으로써, 고정된 객체 수를 가정하지 않고도 일阶 확률 모델에서 강력한 추론과 모델 선택을 가능하게 한다. 이는 저자 인용 매칭 응용 분야에서 효과적으로 입증되었다.

ABSTRACT

The Bayesian Logic (BLOG) language was recently developed for defining first-order probability models over worlds with unknown numbers of objects. It handles important problems in AI, including data association and population estimation. This paper extends BLOG by adopting generative processes over function spaces - known as nonparametrics in the Bayesian literature. We introduce syntax for reasoning about arbitrary collections of objects, and their properties, in an intuitive manner. By exploiting exchangeability, distributions over unknown objects and their attributes are cast as Dirichlet processes, which resolve difficulties in model selection and inference caused by varying numbers of objects. We demonstrate these concepts with application to citation matching.

연구 동기 및 목표

• 기존의 베이지안 논리(BLOG)에서의 주요 제한 요소인 일阶 확률 모델에서 객체 수의 불확실성 문제를 다루는 것.
• 영역 내 객체 수가 알 수 없고 잠재적으로 무한할 경우에도 원칙적인 추론과 모델 선택을 가능하게 하는 것.
• 임의의 객체 집합과 그 성질에 대한 직관적인 추론을 가능하게 하는 문법을 도입하는 것.
• 교환가능성과 비모수 사전분포를 활용하여 모델 구축 시 사전에 객체 수를 정하지 않아도 되도록 하는 것.
• 데이터 연계 및 인구 추정과 같은 AI 문제에 대해 확장 가능하고 유연한 프레임워크를 제공하는 것.

제안 방법

• 기능 공간에 비모수 베이지안 사전분포—특히 딜레트르 과정—를 도입하여 알 수 없는 객체와 그 속성의 분포를 모델링하는 것.
• 교환가능성 가정을 통해 딜레트르 과정을 알 수 없는 객체 집단에 대한 비모수 사전분포로 사용할 수 있음을 정당화하는 것.
• 임의의 객체 집합과 그 성질에 대한 생성 과정을 표현할 수 있는 새로운 문법을 BLOG 언어에 확장하는 것.
• 객체 수가 비모수 사전분포에 의해 지배되는 무작위 변수가 되는 일阶 확률 모델을 구성하는 것.
• 딜레트르 과정 사전분포의 조건부 독립성과 코어너게이션 성질을 활용한 추론 알고리즘을 구현하여 효율적인 사후분포 계산을 지원하는 것.
• 객체 수가 알 수 없고 변동성이 있는 저자 인용 매칭 응용 사례를 통해 프레임워크의 유용성을 입증하는 것.

실험 결과

연구 질문

• RQ1 사전에 객체 수를 정하지 않고도, 알 수 없는 수의 객체를 다룰 수 있도록 일阶 확률 모델을 어떻게 확장할 수 있는가?
• RQ2 알 수 없는 객체 집단이 존재하는 상황에서 강력한 추론과 모델 선택을 지원할 수 있는 비모수 사전분포는 무엇인가?
• RQ3 교환가능성 가정이 딜레트르 과정을 원칙적으로 알 수 없는 객체 속성과 관계를 모델링하는 데 사용할 수 있도록 할 수 있는가?
• RQ4 BLOG에 비모수 사전분포를 통합함으로써 실세계 AI 응용 분야에서 추론 성능과 모델 선택에 어떤 개선이 이루어지는가?
• RQ5 이 프레임워크는 저자 인용 매칭과 같이 객체 수가 불확실한 복잡한 실세계 문제에 얼마나 잘 스케일링될 수 있는가?

주요 결과

• 딜레트르 과정을 비모수 사전분포로 사용함으로써 일阶 확률 모델에서 알 수 없는 객체 수를 일관성 있게 모델링할 수 있다.
• 이 프레임워크는 도메인 내 객체 수에 대한 가정 없이도 원칙적인 모델 선택과 추론을 지원한다.
• 교환가능성 덕분에 사후분포 계산을 단순화하고 확장성을 향상시키는 코어너게이션 사전분포를 유도할 수 있다.
• 변동성이 있는 엔티티 수를 가진 저자 인용 매칭 사례에서 데이터 연계 및 인구 추정 작업을 성공적으로 처리하였다.
• 비모수 사전분포를 통합한 확장된 BLOG 언어를 통해 알 수 없는 객체 집단에 대한 복잡한 확률 모델을 직관적이고 고수준으로 기술할 수 있다.
• 저자 인용 매칭에 대한 실증 평가 결과, 특히 불확실하거나 불완전한 데이터가 존재하는 상황에서 고정된 수의 모델 대비 더 높은 강건성과 정확도를 확보하였다.