[論文レビュー] Automated Construction of Theme-specific Knowledge Graphs

Linyi Ding, Sizhe Zhou+2 more|arXiv (Cornell University)|Apr 29, 2024

Natural Language Processing Techniques被引用数 10

ひとこと要約

本論文は、WikipediaベースのオントロジーとLLM生成のリレーション候補を組み合わせて、コーパスから細粒度かつテーマ特化の知識グラフを構築する教師なしフレームワークである、TKGConを提案し、2つのテーマでその有効性を示す。

ABSTRACT

Despite widespread applications of knowledge graphs (KGs) in various tasks such as question answering and intelligent conversational systems, existing KGs face two major challenges: information granularity and deficiency in timeliness. These hinder considerably the retrieval and analysis of in-context, fine-grained, and up-to-date knowledge from KGs, particularly in highly specialized themes (e.g., specialized scientific research) and rapidly evolving contexts (e.g., breaking news or disaster tracking). To tackle such challenges, we propose a theme-specific knowledge graph (i.e., ThemeKG), a KG constructed from a theme-specific corpus, and design an unsupervised framework for ThemeKG construction (named TKGCon). The framework takes raw theme-specific corpus and generates a high-quality KG that includes salient entities and relations under the theme. Specifically, we start with an entity ontology of the theme from Wikipedia, based on which we then generate candidate relations by Large Language Models (LLMs) to construct a relation ontology. To parse the documents from the theme corpus, we first map the extracted entity pairs to the ontology and retrieve the candidate relations. Finally, we incorporate the context and ontology to consolidate the relations for entity pairs. We observe that directly prompting GPT-4 for theme-specific KG leads to inaccurate entities (such as "two main types" as one entity in the query result) and unclear (such as "is", "has") or wrong relations (such as "have due to", "to start"). In contrast, by constructing the theme-specific KG step by step, our model outperforms GPT-4 and could consistently identify accurate entities and relations. Experimental results also show that our framework excels in evaluations compared with various KG construction baselines.

研究の動機と目的

• テーマ特定の研究のための既存の知識グラフにおける粒度と時機的性の制限に対処する。
• 注釈なしの原始コーパスから自動的にテーマ特化型知識グラフ（ThemeKG）を構築する。
• Wikipedia由来のエンティティオントロジーとLLM生成のリレーションオントロジーを活用して抽出を導く。
• テーマへの整合性を確保し、段階的なオントロジー導入パイプラインを通じて幻覚を抑制する。

提案手法

• Wikipediaのエンティティカテゴリからテーマオントロジーを構築し、エンティティオントロジーを形成する。
• エンティティオントロジーに基づき、テーマエンティティカテゴリ間の候補リレーションをLLMに照会してリレーションオントロジーを生成する（カテゴリペアを併せて考慮）。
• テーマ文書内のエンティティ表現を認識・型付けし、エンティティオントロジー内の最も近いWikipediaカテゴリにマッピングする。
• エンティティペアの候補リレーションとそれらの親カテゴリをリレーションオントロジーから取得し、文書コンテキストを用いたLLMsでフィルタリング・統合する。
• 段階的で文脈対応の promptingフレームワークを用いて各エンティティペアに最適なリレーションを選択し、ThemeKGを豊かにする新しい三重項を追加できるようにする。
• ベースラインと比較し、オントロジー案内の影響を示すアブレーションを実施する（TKGCon with ontology vs. TKGCon without ontology）。

実験結果

リサーチクエスチョン

• RQ1 テーマ関連コーパスから監督なしでテーマ特化型KGを正確に構築できるか？
• RQ2 エンティティとリレーションの精度およびテーマの一貫性は、エンドツーエンドのGPT-4プロンプトやOpenIEのベースラインと比較して、オントロジーガイド付き抽出で改善されるか？
• RQ3 Wikipedia由来のエンティティオントロジーとLLM生成のリレーションオントロジーを取り入れると、ThemeKGの精度・再現率・一貫性はどう変化するか？
• RQ4 オントロジーガイド付きパイプラインとオントロジー無しバリアントの三重項品質とテーマ関連性への影響はどの程度か？

主な発見

• TKGConはエンティティと三重項指標でベースラインのKG構築手法を上回り、高いテーマ整合性を達成する。
• エンドツーエンドのGPT-4プロンプトは不正確なエンティティや曖昧または誤ったリレーションを生み出す可能性がある一方、オントロジーガイドアプローチはこのような問題を低減する。
• 明示的なフレーズマイニングとフィルタリングによってエンティティ認識が強化され、再現率と適合率がベースラインより改善される。
• オントロジーガイド型のリレーションオントロジーを用いると、エンドツーエンドプロンプトよりもより正確で一貫性のあるテーマ特化リレーションが得られる。
• アブレーションは、オントロジーガイダンスを除くとリレーション品質と全体のKG整合性が低下することを示す。