[논문 리뷰] Deep Probabilistic Logic: A Unifying Framework for Indirect Supervision

Hai Wang, Hoifung Poon|arXiv (Cornell University)|2018. 08. 26.

Topic Modeling참고 문헌 39인용 수 10

한 줄 요약

이 논문은 비즈니스 기계 독해에서 수동 주석 없이도 높은 정확도를 달성하기 위해 확률적 논리와 딥 러닝을 통합한 통합 프레임워크인 딥 확률적 논리(DPL)를 제안한다. 레이블 결정을 잠재 변수로 모델링하고, 변분 EM을 사용하여 딥 네ural 네트워크와 가중 논리 공식을 동시에 최적화함으로써 DPL은 원거리 감독, 데이터 프로그래밍, 공동 추론을 모두 포함하고 통합하며, 생물의학 분야의 기계 독해에서 뚜렷한 정확도 향상을 이룬다.

ABSTRACT

Deep learning has emerged as a versatile tool for a wide range of NLP tasks, due to its superior capacity in representation learning. But its applicability is limited by the reliance on annotated examples, which are difficult to produce at scale. Indirect supervision has emerged as a promising direction to address this bottleneck, either by introducing labeling functions to automatically generate noisy examples from unlabeled text, or by imposing constraints over interdependent label decisions. A plethora of methods have been proposed, each with respective strengths and limitations. Probabilistic logic offers a unifying language to represent indirect supervision, but end-to-end modeling with probabilistic logic is often infeasible due to intractable inference and learning. In this paper, we propose deep probabilistic logic (DPL) as a general framework for indirect supervision, by composing probabilistic logic with deep learning. DPL models label decisions as latent variables, represents prior knowledge on their relations using weighted first-order logical formulas, and alternates between learning a deep neural network for the end task and refining uncertain formula weights for indirect supervision, using variational EM. This framework subsumes prior indirect supervision methods as special cases, and enables novel combination via infusion of rich domain and linguistic knowledge. Experiments on biomedical machine reading demonstrate the promise of this approach.

연구 동기 및 목표

• 다양한 간접적 감독 방법을 통합함으로써 NLP에서 주석 생성의 한계를 해결하기 위해.
• 계산이 불가능한 추론과 학습에도 불구하고 확률적 논리와 함께 엔드 투 엔드 학습을 가능하게 하기 위해.
• 원거리 감독, 데이터 프로그래밍, 공동 추론과 같은 다양한 형태의 간접적 감독을 하나의 프레임워크 안에서 통합하기 위해.
• 풍부한 도메인 지식과 최소한의 수동 주석 데이터를 활용하여 생물의학 텍스트에서의 기계 독해 정확도를 향상시키기 위해.
• 유연한 감독 신호 조합을 지원하는 확장 가능하고 모odu lar한 프레임워크를 제공하기 위해.

제안 방법

• DPL은 예측 모듈로 딥 네럴 네트워크를, 감독 모듈로 확률적 논리 모델을 조합하며, 레이블 결정은 잠재 변수로 간주된다.
• 간접적 감독은 가중 일阶 논리 공식으로 표현되며, 다양한 감독 원천을 통합하기 위해 가상 증거를 일반화한다.
• 프레임워크는 변분 EM을 사용하여 딥 러닝 모델 최적화와 간접적 감독을 위한 공식 가중치 개선을 번갈아 수행한다.
• 학습은 입력에 주어진 가상 증거의 조건부 가능도를 최대화함으로써 예측 모듈과 감독 모듈을 함께 최적화할 수 있도록 한다.
• 확률적 논리 구성 요소에서의 근사 추론은 루프 없는 신뢰 전파를 사용하며, 2~4회 반복 내에 수렴한다.
• 이 접근법은 모듈러한 학습을 지원하며, EM 단계당 10 에포크 동안 딥 러닝을 최적화하고 총 3회 EM 단계를 수행한다.

실험 결과

연구 질문

• RQ1 원거리 감독, 데이터 프로그래밍, 공동 추론과 같은 다양한 간접적 감독 방법을 통합할 수 있는 프레임워크가 가능한가?
• RQ2 계산이 불가능한 추론이 존재하더라도 딥 러닝과 확률적 논리가 효과적으로 조합되어 엔드 투 엔드 학습이 가능한가?
• RQ3 여러 간접적 감독 신호를 통합하면 생물의학 기계 독해 작업의 정확도가 향상되는가?
• RQ4 DPL은 원래의 감독 함수가 다루지 못하는 오류, 예를 들어 인용이나 평탄화된 표에서 발생하는 오류까지도 일반화하여 수정할 수 있는가?
• RQ5 대규모 생물의학 데이터셋에서 DPL의 학습 및 추론 시간은 어떻게 확장되는가?

주요 결과

• 관계 추출에서 DPL은 정밀도 0.61과 절대 재현율 20,378를 기록했으며, 펭 등(2017)의 0.31 정밀도와 11,481 재현율을 크게 능가했다.
• DPL 엔티티 링커는 학습 및 테스트 시점 필터링을 결합함으로써 정밀도를 0.55에서 0.61로 향상시켜 저신뢰도 유전자 언급으로 인한 노이즈 감소 효과를 입증했다.
• DPL은 원래의 레이블링 함수가 다루지 못한 오류, 예를 들어 인용이나 평탄화된 표에서 발생하는 오류까지도 수정하여 초기 감독을 초월한 일반화 능력을 보였다.
• 프레임워크는 학습 인스턴스에 대해 선형적으로 확장되었으며 효율적이었다: PubMed 규모의 데이터에서 관계 추출은 3.5시간, 엔티티 링킹은 2.5시간이 소요되었으며, 25개의 CPU 코어와 1개의 GPU를 사용했다.
• 오류 분석 결과, DPL의 정밀도 오류 중 45%는 유전자-변형 연관성에서 기인한 것으로 나타나 향후 개선의 핵심 영역임을 시사했다.
• DPL은 감독 신호 상호 간의 상호 강화를 가능하게 했으며, 원거리 감독, 데이터 프로그래밍, 공동 추론을 하나의 모델에 통합함으로써 성능 향상을 이룬 점이 특징이었다.