[논문 리뷰] RuleBERT: Teaching Soft Rules to Pre-Trained Language Models

Mohammed Saeed, Naser Ahmadi외 2명|arXiv (Cornell University)|2021. 08. 25.

Topic Modeling인용 수 5

한 줄 요약

RuleBERT는 320만 개의 예제로 구성된 새로운 합성 데이터셋을 통해 사전 훈련된 언어 모델(PLM)이 유사 규칙(신뢰도 점수를 가진 근사 규칙)을 사용하여 확률적이고 추론 가능한 추론을 수행하도록 훈련시키는 방법을 제안한다. 이 방법은 확률적 논리 프로그래밍(LP^MLN)을 모방하는 개선된 손실 함수를 사용하여, 예측된 확률이 새로운 규칙에 대해서도 정확하게 도출되도록 한다. 이로 인해 RuleBERT는 외부 추론 벤치마크에서 최고 성능을 기록하며, 모델의 표현에 부정, 대칭성 등의 논리적 개념을 효과적으로 전이할 수 있다.

ABSTRACT

While pre-trained language models (PLMs) are the go-to solution to tackle many natural language processing problems, they are still very limited in their ability to capture and to use common-sense knowledge. In fact, even if information is available in the form of approximate (soft) logical rules, it is not clear how to transfer it to a PLM in order to improve its performance for deductive reasoning tasks. Here, we aim to bridge this gap by teaching PLMs how to reason with soft Horn rules. We introduce a classification task where, given facts and soft rules, the PLM should return a prediction with a probability for a given hypothesis. We release the first dataset for this task, and we propose a revised loss function that enables the PLM to learn how to predict precise probabilities for the task. Our evaluation results show that the resulting fine-tuned models achieve very high performance, even on logical rules that were unseen at training. Moreover, we demonstrate that logical notions expressed by the rules are transferred to the fine-tuned model, yielding state-of-the-art results on external datasets.

연구 동기 및 목표

• 사전 훈련된 언어 모델(PLM)이 일상적인 지식과 논리적 추론을 포괄하고 적용하는 데에 한계를 보이고 있는 점을 해결하기 위해, 특히 불확실한(부드러운) 규칙에 대해 적용 가능한 방법을 개발하는 것.
• 정확한 규칙 외에도 근사적이고 신뢰도가 부여된 규칙을 기반으로 훈련할 수 있도록, PLM과 논리적 추론 간 격차를 메우는 것.
• 사실과 부드러운 규칙에 기반해 가설의 정확도를 정확히 예측할 수 있도록 하는 파인튜닝 프레임워크를 개발하는 것.
• 부정, 대칭성, 조합과 같은 논리적 개념이 모델의 내부 표현에 효과적으로 전이되는지 평가하는 것.

제안 방법

• 이 방법은 추론 작업을 이진 분류 문제로 설정한다: 주어진 사실과 부드러운 규칙에 기반해 가설이 참일 확률을 예측하는 것.
• DBpedia에서 추출한 161개의 실제 일상 지식 규칙을 기반으로 한 320만 개의 합성 예제로 구성된 데이터셋을 제안하며, 목표 확률은 LP^MLN에서의 형식적 추론을 통해 계산된다.
• LP^MLN의 확률적 결과를 모방하도록 설계된 개선된 손실 함수를 도입하여, 다수의 규칙을 거쳐 불확실성 전파를 학습할 수 있도록 한다.
• 이 합성 데이터셋을 기반으로 모델를 파인튜닝함으로써, 새로운 규칙에 일반화하고 충돌하는 증거를 처리할 수 있도록 한다.
• 이 방법은 다중 변수 규칙과 다수의 규칙를 포함한 복잡한 추론 체인을 지원한다.
• 지식 distillation을 사용하여 부정, 대칭성 등의 논리적 불변성을 모델의 어텐션 및 표현 레이어에 전이한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 언어 모델은 부드러운 논리적 규칙을 기반으로 확률적이고 추론 가능한 추론을 효과적으로 수행하도록 파인튜닝될 수 있는가?
• RQ2 파인튜닝된 PLM는 훈련 중에 접촉하지 않은 논리적 규칙에 얼마나 잘 일반화되는가?
• RQ3 예측 부정, 대칭성 등의 논리적 불변성이 모델의 내부 표현에 얼마나 효과적으로 전이되는가?
• RQ4 확률적 논리 프로그래밍을 모방하는 개선된 손실 함수는 PLM의 추론 작업 예측 정확도와 校정성(정확도)을 향상시키는가?
• RQ5 부드러운 규칙을 가르치는 것이 외부 추론 벤치마크에서 최고 성능을 달성하는 데 기여하는가?

주요 결과

• RuleBERT는 두 에포크 동안 bAbI 태스크 #15에서 테스트 정확도 0.863를 기록하며 RoBERTa(0.676)를 압도적으로 앞서며, 소규모 데이터셋에서 뚜렷한 일반화 우위를 확보했다.
• CheckList QQP 벤치마크에서 RuleBERT는 한 에포크 후 정확도 0.422를 달성하여 RoBERTa의 0.0을 크게 앞섰지만, 3개 에포크 이후 치명적인 기억 상실로 인해 과적합이 발생하기 시작했다.
• 모델는 새로운 규칙에 대해 효과적으로 일반화되어 있으며, 오직 20개의 규칙로만 파인튜닝해도 높은 성능을 기록했다.
• RuleBERT가 예측한 확률은 공식적인 LP^MLN 추론기에서 도출된 결과와 매우 유사하여 강력한 校정성과 불확실성 모델링 능력을 입증했다.
• 대칭성 또는 부정된 술어를 포함한 규칙로 파인튜닝하면, 이러한 논리적 불변성이 트랜스포머의 하위 레이어로 전이되어 추론 능력이 향상된다.
• RuleBERT는 외부 추론 데이터셋 세 개에서 새로운 최고 성능을 기록하며, PLM에 부드러운 규칙을 가르치는 것이 효과적임을 확인했다.