[論文レビュー] RuleBERT: Teaching Soft Rules to Pre-Trained Language Models

Mohammed Saeed, Naser Ahmadi+2 more|arXiv (Cornell University)|Aug 25, 2021

Topic Modeling被引用数 5

ひとこと要約

RuleBERTは、320万件の例から構成される新しい合成データセットを用いて、確率的論理規則（信頼度スコアを伴う近似規則）を用いた確率的帰納的推論を事前学習言語モデル（PLM）に教える手法を提案する。この手法は、確率論的論理プログラミング（LP^MLN）を模倣するように改訂された損失関数を用い、未学習の規則に対しても正確な確率を予測可能にし、外部の推論ベンチマークで最先端の性能を達成するとともに、モデルの表現に否定や対称性といった論理的概念を効果的に転送する。

ABSTRACT

While pre-trained language models (PLMs) are the go-to solution to tackle many natural language processing problems, they are still very limited in their ability to capture and to use common-sense knowledge. In fact, even if information is available in the form of approximate (soft) logical rules, it is not clear how to transfer it to a PLM in order to improve its performance for deductive reasoning tasks. Here, we aim to bridge this gap by teaching PLMs how to reason with soft Horn rules. We introduce a classification task where, given facts and soft rules, the PLM should return a prediction with a probability for a given hypothesis. We release the first dataset for this task, and we propose a revised loss function that enables the PLM to learn how to predict precise probabilities for the task. Our evaluation results show that the resulting fine-tuned models achieve very high performance, even on logical rules that were unseen at training. Moreover, we demonstrate that logical notions expressed by the rules are transferred to the fine-tuned model, yielding state-of-the-art results on external datasets.

研究の動機と目的

• 事前学習言語モデル（PLM）が、不確実性（ソフト）な規則を含む一般的な常識的論理的推論を捉え、適用できないという限界を解消すること。
• 正確な規則のみでなく、近似的で信頼度が重み付けされた規則から学習できるように、PLMと論理的推論のギャップを埋めること。
• 事実とソフト規則に基づいて仮説の確率を正確に予測できるように、PLMのファインチューニングフレームワークを開発すること。
• 否定、対称性、合成といった論理的概念が、モデルの内部表現に効果的に転送されているかどうかを評価すること。

提案手法

• 推論タスクを二値分類問題として定式化：与えられた事実とソフト規則から、仮説が真である確率を予測する。
• DBpediaから抽出した161の現実世界の常識的規則を基に、LP^MLNにおける形式的推論により計算されたターゲット確率を伴う、320万件の合成データセットを構築する。
• LP^MLNの確率的出力を模倣するように設計された改訂された損失関数を導入し、複数の規則にわたる不確実性の伝播を学習可能にする。
• この合成データでモデルをファインチューニングすることで、未学習の規則に一般化可能となり、矛盾する証拠に対処可能になる。
• 変数を複数含む規則や、複数の規則を含む複雑な推論チェーンをサポートする。
• 知識蒸留を用いて、否定や対称性などの論理的不変性を、モデルのアテンションおよび表現層に転送する。

実験結果

リサーチクエスチョン

• RQ1 事前学習言語モデルは、ソフト論理規則を用いた確率的帰納的推論を、効果的にファインチューニングで学習できるか？
• RQ2 ファインチューニングされたPLMは、訓練中に見なかった論理的規則にどの程度一般化できるか？
• RQ3 述語の否定や対称性といった論理的不変性が、モデルの内部表現にどの程度転送されているか？
• RQ4 確率論的論理プログラミングを模倣するように改訂された損失関数は、PLMの推論タスクにおける予測の正確性とキャリブレーションを向上させられるか？
• RQ5 ソフト規則を教えることで、外部の推論ベンチマークで最先端の性能が達成できるか？

主な発見

• RuleBERTは、2エポックでbAbIタスク#15において0.863のテスト精度を達成し、RoBERTa（0.676）を上回る。小規模データセットにおいて顕著な一般化優位性を示す。
• CheckList QQPベンチマークでは、1エポック後に0.422の精度に到達し、RoBERTaの0.0を大きく上回るが、3エポック目以降に深刻な catastrophic forgetting によりオーバーフィットが生じる。
• 未学習の規則に対しても効果的な一般化が可能であり、20個の規則でのファインチューニングでも高い性能を発揮する。
• RuleBERTが予測する確率は、形式的LP^MLN推論エンジンが出力する確率に非常に近い。これは、良好なキャリブレーションと不確実性モデリングの両方を示している。
• 対称的または否定的述語を含む規則でファインチューニングすることで、Transformerの低層部にこれらの論理的不変性が転送され、推論能力が向上する。
• RuleBERTは3つの外部推論データセットで新たな最先端の結果を達成し、PLMにソフト規則を教える手法の有効性を確認した。