[論文レビュー] BertNet: Harvesting Knowledge Graphs with Arbitrary Relations from Pretrained Language Models

Shibo Hao, Bowen Tan+6 more|arXiv (Cornell University)|Jun 28, 2022

Topic Modeling被引用数 13

ひとこと要約

BertNetは、関係のプロンプトと少数のfew-shot例を入力として、事前学習された言語モデル（LM）から任意の関係をもつ大規模で記号的知識グラフ（KG）を自動で抽出するフレームワークである。最小限のユーザー入力で、BERT、RoBERTa、DistilBERTなどのモデルから400以上の新しい関係を含む多様で複雑な関係（例：『〜できるが、うまくはできない』）を高精度に抽出する。効率的な検索・再スコアリング機構とプロンプト重み付けを組み合わせることで実現している。

ABSTRACT

It is crucial to automatically construct knowledge graphs (KGs) of diverse new relations to support knowledge discovery and broad applications. Previous KG construction methods, based on either crowdsourcing or text mining, are often limited to a small predefined set of relations due to manual cost or restrictions in text corpus. Recent research proposed to use pretrained language models (LMs) as implicit knowledge bases that accept knowledge queries with prompts. Yet, the implicit knowledge lacks many desirable properties of a full-scale symbolic KG, such as easy access, navigation, editing, and quality assurance. In this paper, we propose a new approach of harvesting massive KGs of arbitrary relations from pretrained LMs. With minimal input of a relation definition (a prompt and a few shot of example entity pairs), the approach efficiently searches in the vast entity pair space to extract diverse accurate knowledge of the desired relation. We develop an effective search-and-rescore mechanism for improved efficiency and accuracy. We deploy the approach to harvest KGs of over 400 new relations from different LMs. Extensive human and automatic evaluations show our approach manages to extract diverse accurate knowledge, including tuples of complex relations (e.g., "A is capable of but not good at B"). The resulting KGs as a symbolic interpretation of the source LMs also reveal new insights into the LMs' knowledge capacities.

研究の動機と目的

• 既存の知識グラフ構築手法が事前に定義された手動で整備された関係に限定されているという制限に対処すること。
• 既存のコーパスやKGにない任意の新しい関係について、事前学習された言語モデルから記号的で構造化された知識を自動で抽出できることを可能にすること。
• 暗黙のLMの知識を明示的でナビゲート可能で~編集可能な記号的KGに変換する、効率的で高精度な手法を開発すること。
• 異なるLMや関係、特に複雑で多引数の関係を対象に評価することで、LMの知識容量を理解すること。

提案手法

• フレームワークは、自然言語のプロンプト（例：『XはYができるが、うまくはできない』）と、エンティティペアの少数のfew-shot例からなる関係定義を入力として受ける。
• LMの自己回帰的生成を活用したリtrieval戦略を用いて、膨大なエンティティペアの空間を探索する。この戦略により、与えられた頭部エンティティと関係に対して、尾部エンティティを予測する。
• 効率性と正確性を向上させるための効果的な検索・再スコアリング機構を導入する。この機構は、プロンプト尤度と信頼度に基づく学習済みスコア関数を用いて候補となるタプルを順位付けする。
• プロンプトの言い換え技術を強化するため、再スコアリングに基づくプロンプト重み付け戦略を導入し、多様なプロンプト間での耐性と一貫性を向上させる。
• BERT、RoBERTa、DistilBERTなど複数のLMをサポートし、下位のLMの知識を記号的KGとして解釈する。
• 抽出された知識の品質と多様性を検証するため、自動的および人間による評価プロトコルをフレームワークに統合する。

実験結果

リサーチクエスチョン

• RQ1 事前学習された言語モデルから、従来のKGに存在しない任意の未確認の関係をもつ高品質で多様な知識グラフを抽出できるか？
• RQ2 膨大なエンティティペア空間を探索する際、検索・再スコアリング機構は効率性と正確性のバランスをどの程度効果的に果たしているか？
• RQ3 異なるLM（例：BERT、RoBERTa、DistilBERT）は、複雑な関係や多引数関係をどの程度正しくエンコード・抽出できるか？
• RQ4 モデルサイズや事前学習戦略が抽出された知識の品質に影響を与えるか？また、知識蒸留は知識保持を向上させるか？
• RQ5 抽出されたKGは、LMの内部知識を記号的解釈として機能し、その知識容量に関するインサイトを明らかにできるか？

主な発見

• BertNetは、ConceptNetなどの既存のKGに存在しない400以上の新しい関係について知識を抽出し、利用可能な構造化知識の範囲を著しく拡大した。
• 『AはBができるが、うまくはできない』のような複雑な関係についても高い正確性で抽出でき、微妙な意味的関係を捉える能力を示した。
• 大規模なLM（例：RoBERTa-large、BERT-large）は、それらのベースモデルと比較して約3–7%高い正確性を示し、モデルスケールが知識エンコードを向上させることを示した。
• より優れた事前学習戦略（例：RoBERTa vs. BERT）は、知識品質を向上させ、RoBERTaNet-largeはBertNet-largeよりも正確性で3ポイント優れた。
• 知識蒸留（例：DistilBERT）により知識保持が向上し、教師モデル（BERT-base）と比較して正確性が約4%向上した。これはノイズ低減によるものと推定される。
• ConceptNetおよびLAMAベンチマークにおいて、COMET や LPAQA といったベースラインを上回り、特に尾部エンティティの予測だけでなくタプル全体のスコアリングにおいて優れた性能を示した。