[논문 리뷰] Weight Learning in a Probabilistic Extension of Answer Set Programs

Joohyung Lee, Wang Yi|arXiv (Cornell University)|2018. 08. 14.

Logic, Reasoning, and Knowledge참고 문헌 16인용 수 3

한 줄 요약

이 논문은 답변 집합 프로그래밍의 확률적 확장인 ${\rm LP}^{\rm{MLN}}$에서 기울기 상승법과 MC-ASP를 사용하여 가중치 학습을 도입한다. 이는 답변 집합 솔버를 통한 MCMC 샘플링을 통해 이루어지며, 행동 계획 및 추론 진단과 같은 지식 기반 도메인에서의 확률적 추론을 가능하게 한다. 학습된 가중치는 관측된 행동 이력에서의 실패 확률을 반영한다.

ABSTRACT

LPMLN is a probabilistic extension of answer set programs with the weight scheme derived from that of Markov Logic. Previous work has shown how inference in LPMLN can be achieved. In this paper, we present the concept of weight learning in LPMLN and learning algorithms for LPMLN derived from those for Markov Logic. We also present a prototype implementation that uses answer set solvers for learning as well as some example domains that illustrate distinct features of LPMLN learning. Learning in LPMLN is in accordance with the stable model semantics, thereby it learns parameters for probabilistic extensions of knowledge-rich domains where answer set programming has shown to be useful but limited to the deterministic case, such as reachability analysis and reasoning about actions in dynamic domains. We also apply the method to learn the parameters for probabilistic abductive reasoning about actions.

연구 동기 및 목표

• 확률적 추론으로의 일반화를 위해 결정론적 답변 집합 프로그래밍을 확장하여 ${\rm LP}^{\rm{MLN}}$ 프로그램에서 매개변수 학습을 가능하게 한다.
• 복잡한 ${\rm LP}^{\rm{MLN}}$ 프로그램에서 수작업으로 가중치를 할당하는 문제를 관측된 데이터로부터 가중치를 학습하는 방식으로 해결한다.
• 특히 기울기 상승법과 MCMC 샘플링을 활용한 마르코프 논리 네트워크 학습 기법을 ${\rm LP}^{\rm{MLN}}$의 안정 모델 의미론에 적응시킨다.
• 행동 실패 진단과 같은 부분 관측 데이터가 있는 도메인에서 ${\rm LP}^{\rm{MLN}}$ 학습의 적용 가능성을 입증한다.
• 역행적 추론을 동적 시스템에 통합하기 위해 행동 실행 이력에서 실패 확률을 학습한다.

제안 방법

• 관측된 안정 모델의 가능도를 최대화하는 방식으로 기울기 상승법을 최대우도추정(MLE)에 적응하여 ${\rm LP}^{\rm{MLN}}$ 내 규칙 가중치를 학습한다.
• 답변 집합 솔버(ASP)를 SAT 솔버 대신 사용하는 MCMC 샘플러인 MC-ASP를 도입하며, 이는 ${\rm LP}^{\rm{MLN}}$의 페널티 기반 공식화에 기반한다.
• MCMC의 블랙박스 컴ponent로 균일 샘플러를 활용하여 후보 모델을 생성하고, 거짓 규칙의 페널티에 기반한 수용 확률을 적용한다.
• 단일 및 다중 안정 모델 설정 모두에 학습 프레임워크를 적용하고, 부분 해석을 처리할 수 있도록 확장한다.
• 학습된 가중치를 실패 확률로 변환하기 위해 $ P(\text{abnormality}) = \frac{\exp(-w)}{\exp(-w) + 1} $ 변환을 사용한다.
• 감소를 통한 기존 도구와의 통합: ${\rm LP}^{\rm{MLN}}$ 학습이 ProbLog 및 마르코프 논리 학습의 특수 케이스로 일반화됨을 보여준다.

실험 결과

연구 질문

• RQ1 ${\rm LP}^{\rm{MLN}}$에서 안정 모델 의미론 하에 가중치 학습을 어떻게 형식화할 수 있으며, 이는 지식 기반 도메인에서의 확률적 추론을 지원하는가?
• RQ2 마르코프 논리에서의 MCMC 샘플링 기법을 답변 집합 솔버를 사용하여 ${\rm LP}^{\rm{MLN}}$에 적응시킬 수 있는가? MC-ASP는 MC-SAT와 어떻게 다를까?
• RQ3 ${\rm LP}^{\rm{MLN}}$ 학습은 행동 추적에서 일부 정보가 누락된 부분 관측 데이터(예: 누락된 플루언트 또는 비정상 조건)를 어떻게 다룰 수 있는가?
• RQ4 행동 실행 이력에서 실패 확률을 학습함으로써 프레임워크가 역행적 확률적 추론을 지원할 수 있는가?
• RQ5 ${\rm LP}^{\rm{MLN}}$ 가중치 학습과 ProbLog 및 마르코프 논리와 같은 기존의 확률적 논리 학습 프레임워크 간의 관계는 무엇인가?

주요 결과

• 행동 실패 규칙에 대한 학습된 가중치는 enter_failed에 대해 -1.084, drop_book에 대해 -1.064, pickup_failed에 대해 -0.068이며, 이에 해당하는 실패 확률은 각각 약 0.253, 0.257, 0.483이다.
• MC-ASP는 답변 집합 솔버를 사용하여 ${\rm LP}^{\rm{MLN}}$에서 MCMC 샘플링을 가능하게 하여, 결정론적 의존성으로 인한 전통적 MCMC의 에르고딕성 제약를 극복한다.
• 시스템은 실패의 가장 가능성이 높은 원인을 정확히 식별한다: 책이 r2에 없을 경우 pickup_failed이며, 로봇도 r2에 없을 경우 enter_failed이다.
• 부분 해석에서의 학습을 지원하여 안정 모델 의미론에 기반해 누락된 플루언트와 비정상 조건을 추론할 수 있다.
• 프로토타입 구현은 동적 시스템에서 역행적 추론을 위한 매개변수 학습에 성공적으로 적용되었으며, 실제 진단 시나리오에서의 유용성을 입증한다.
• 이 방법은 ProbLog 및 마르코프 논리 학습을 일반화하여, ${\rm LP}^{\rm{MLN}}$의 특정 하위 케이스에 대해 기존 도구와 알고리즘의 재사용을 가능하게 한다.