[논문 리뷰] Scalable Structure Learning for Probabilistic Soft Logic

Varun Embar, Dhanya Sridhar외 2명|arXiv (Cornell University)|2018. 07. 03.

Bayesian Modeling and Causal Inference참고 문헌 20인용 수 7

한 줄 요약

이 논문은 확률적 소프트 논리(PSL)를 위한 두 가지 확장 가능한 구조 학습 방법을 제안한다: 탐욕적 탐색 기반 접근법과 새로운 조각별 가짜우도(PPLL) 최적화 방법이다. PPLL는 병렬 업데이트를 통해 단일 패assing 조건 하에 문장 가중치 최적화를 가능하게 하여, 탐욕적 탐색의 반복적 가중치 학습 및 평가 병목 현상을 극복함으로써 최대 15% 높은 AUC와 한 단계 빠른 런타임을 달성한다.

ABSTRACT

Statistical relational frameworks such as Markov logic networks and probabilistic soft logic (PSL) encode model structure with weighted first-order logical clauses. Learning these clauses from data is referred to as structure learning. Structure learning alleviates the manual cost of specifying models. However, this benefit comes with high computational costs; structure learning typically requires an expensive search over the space of clauses which involves repeated optimization of clause weights. In this paper, we propose the first two approaches to structure learning for PSL. We introduce a greedy search-based algorithm and a novel optimization method that trade-off scalability and approximations to the structure learning problem in varying ways. The highly scalable optimization method combines data-driven generation of clauses with a piecewise pseudolikelihood (PPLL) objective that learns model structure by optimizing clause weights only once. We compare both methods across five real-world tasks, showing that PPLL achieves an order of magnitude runtime speedup and AUC gains up to 15% over greedy search.

연구 동기 및 목표

• 확장 가능한 기존 방법이 없는 Probabilistic Soft Logic(PSL)의 구조 학습 문제를 정식화하기 위해.
• 반복적인 매개변수 추정과 모델 평가를 수반하는 PSL에서의 구조 학습의 높은 계산 비용을 해결하기 위해.
• 반복적 가중치 학습 및 평가의 필요성을 줄이는 확장 가능한 데이터 기반 문장 생성 및 최적화 기법을 개발하기 위해.
• 다양한 실제 작업에서 제안된 방법의 예측 성능 및 런타임 효율성을 평가하기 위해.
• PPLL가 큰 후보 문장 집합에 대해 효과적으로 확장 가능하면서도 예측 정확도를 유지하거나 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 관계적 랜덤 워크를 사용하여 의미 있는 패턴과 무늬를 데이터에서 추출함으로써 후보 문장을 생성하기 위한 경로 제약 문장 생성 기법을 제안한다.
• 반복적인 가중치 학습 및 모델 평가를 통해 문장을 단계적으로 선택하는 탐욕적 탐색 기반 방법을 도입한다.
• 단일 패assing 최적화를 가능하게 하는 볼록 대체 목적함수인 조각별 가짜우도(PPLL) 목적함수를 개발한다.
• PPLL에서 병렬 최적화 업데이트를 적용하여 수렴 속도를 가속화하고 확장성을 향상시킨다.
• 후보 문장을 생성하기 위해 데이터 기반의 하향식 접근법을 사용하여 검색 공간을 의미적으로 유의미한 관계 패턴으로 제한한다.
• PPLL 목적함수를 통해 암묵적으로 L1-정규화를 적용하여 모델의 단순성과 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 PSL에 대해 탐욕적 탐색의 비용이 많이 드는 가중치 학습과 모델 평가의 번갈아가며 수행되는 과정을 피할 수 있는 확장 가능한 구조 학습 방법을 설계할 수 있는가?
• RQ2 런타임과 예측 정확도 측면에서 PPLL 기반 최적화 방법은 탐욕적 탐색에 비해 어떻게 비교되는가?
• RQ3 경로 제약 문장 생성은 PSL 구조 학습에서 후보 문장의 품질과 관련성에 얼마나 기여하는가?
• RQ4 PPLL 목적함수는 마르코프 논리 네트워크와 같은 다른 SRL 프레임워크로 일반화될 수 있는가?
• RQ5 PSL 구조 학습에서 확장성과 근사 정확도 사이의 상충 관계는 무엇이며, PPLL과 탐욕적 탐색은 어떻게 비교되는가?

주요 결과

• PPLL는 생물학적 논문 추천 및 약물 상호작용 예측을 포함한 다양한 실제 작업에서 탐욕적 탐색 방법 대비 최대 15% 높은 AUC를 달성한다.
• PPLL는 탐욕적 탐색 대비 런타임을 한 단계 빠르게 하여, BookAuthor 작업에서 200개의 후보 문장을 가진 모델을 4분 내로 완료하는 데에 그치지만, 탐욕적 탐색은 거의 이틀이 소요된다.
• PPLL 방법은 후보 문장 집합이 200개로 증가하더라도 계산적으로 실행 가능하지만, 탐욕적 탐색은 작은 문장 집합을 초과하면 비현실적이게 된다.
• PPLL 목적함수를 통해 문장 가중치에 대한 확장 가능한 단일 패assing 최적화가 가능해지며, 반복적인 매개변수 추정 및 평가 라운드의 필요성이 제거된다.
• 경로 제약 문장 생성과 PPLL 최적화의 조합은 더 높은 품질의 모델을 만들어내며 일반화 성능을 향상시키고 학습 속도를 빠르게 한다.
• PPLL 방법은 볼록성과 미분 가능성의 특성 덕분에 마르코프 논리 네트워크를 포함한 다른 SRL 프레임워크로도 일반화 가능하다.