[論文レビュー] Tell Me Why Is It So? Explaining Knowledge Graph Relationships by Finding Descriptive Support Passages

Sumit Bhatia, Purusharth Dwivedi+1 more|arXiv (Cornell University)|Mar 17, 2018

Topic Modeling参考文献 29被引用数 3

ひとこと要約

本論文では、知識グラフ（Wikidata）の関係性について記述的で人間が読みやすい説明を提供するため、大規模コーパス（Wikipedia）からのパassageを確率的・非教師ありでランク付けする手法を提案する。言語モデルを用いてパassageレベルおよびドキュメントレベルの証拠を統合することで、ユーザースタディーにおいてベースラインを大きく上回り、自動知識ベースにおける説明可能性とユーザーチャスティックを著しく向上させる。

ABSTRACT

We address the problem of finding descriptive explanations of facts stored in a knowledge graph. This is important in high-risk domains such as healthcare, intelligence, etc. where users need additional information for decision making and is especially crucial for applications that rely on automatically constructed knowledge bases where machine learned systems extract facts from an input corpus and working of the extractors is opaque to the end-user. We follow an approach inspired from information retrieval and propose a simple and efficient, yet effective solution that takes into account passage level as well as document level properties to produce a ranked list of passages describing a given input relation. We test our approach using Wikidata as the knowledge base and Wikipedia as the source corpus and report results of user studies conducted to study the effectiveness of our proposed model.

研究の動機と目的

• 医療やインテリジェンスなどハイリスク分野における知識グラフの関係性について、記述的で人間が読みやすい説明のニーズに対応すること。
• 非構造化テキストから抽出された事実に対する文脈的サポートを提供することで、ユーザーチャスティックと意思決定を向上させること。
• テンプレートや事前定義されたパスに依存しない、解釈可能な非教師ありソリューションの開発。
• パassageベースの説明の有効性を、関連性と情報量を比較するユーザースタディーを通じて評価すること。
• 抽象的な三項組を自然言語の文脈にリンクさせることで、より良い探索的検索と知識発見を可能にすること。

提案手法

• 本手法は、パassageレベルおよびドキュメントレベルの証拠を統合して候補パassageのスコアを算出する確率的ランク付けモデルを用いる。
• パassageレベルの関連性は、関係三項組がパassageに現れる確率を推定する言語モデルによってモデル化される。
• ドキュメントレベルの証拠は、関係に関与するエンティティが頻繁に言及されているドキュメントからのパassageのスコアを向上させるブースティング項によって統合される。
• 最終スコアは、パassage尤度とドキュメント証拠の重み付き組み合わせとして計算され、論文の式(5)に形式化されている。
• 本手法は非教師ありであり、アノテーション付き学習データやテンプレートを必要としない。
• 外部知識や事前学習モデルに依存せず、Wikidataを知識ベースとして用い、Wikipediaからパassageを取得・ランク付けする。

実験結果

リサーチクエスチョン

• RQ1 パassageレベルおよびドキュメントレベルの証拠を効果的に統合することで、知識グラフの関係性に対する説明的パassageをランク付けできるか？
• RQ2 単一の語のオーバーラップや頻度に依存するベースライン手法と比較して、本手法はどのように差をつけるか？
• RQ3 ユーザースタディーによって、提案手法のパassageが知識グラフの事実に対する理解と信頼をどの程度向上させるか？
• RQ4 キーワードがパassageに一度しか出現しない場合でも、関連性があり文脈豊かな説明を同定できるか？
• RQ5 説明生成プロセスにおいて最も一般的なエラーまたは誤ランク付けの原因は何か？

主な発見

• 提案手法は、語の頻度とパassageオーバーラップに依存する強力なベースラインを、ユーザースタディーで著しく上回った。
• キーワードが一度しか出現しないケースにおいても、本手法が生成したパassageは、ベースラインより情報量が多く関連性が高いと評価された。
• ドキュメントレベルの証拠部が、ターゲット語がたった一度しか登場しないパassageに対しても、関連性の高いパassageを強化する上で中心的な役割を果たした。
• ユーザーァルエーベィレーターは、エンティティが言及されているが特定の関係性を説明していないパassageを頻繁に拒否しており、文脈的な関連性の重要性が浮き彫りになった。
• エラー解析から、主に2つの失敗モードが特定された：関係性を説明しないエンティティの議論を含むパassage、および関係性に対して間接的・一時的な言及しか含まないパassage。
• 結果として、言語モデルとドキュメントレベルの証拠を統合することで、知識グラフの事実に対するより効果的で信頼性の高い説明が得られることを示した。