[論文レビュー] Interpreting Embedding Models of Knowledge Bases: A Pedagogical Approach

Arthur Colombini Gusmão, Alvaro H. C. Correia+2 more|arXiv (Cornell University)|Jun 20, 2018

Topic Modeling被引用数 9

ひとこと要約

本稿では、学習済み埋め込みから重み付き Horn 論理式を抽出することにより、ブラックボックス型知識ベース埋め込みモデルを解釈する2つの教育的アプローチ—XKE-PRED および XKE-TRUE—を提案する。予測をサブグラフ特徴に基づく解釈可能な関係的規則にマッピングすることで、特に特徴抽出に真値ラベルを用いる場合、高い忠実性と正確性を維持しつつ、モデルの透明性を向上させる。

ABSTRACT

Knowledge bases are employed in a variety of applications from natural language processing to semantic web search; alas, in practice their usefulness is hurt by their incompleteness. Embedding models attain state-of-the-art accuracy in knowledge base completion, but their predictions are notoriously hard to interpret. In this paper, we adapt "pedagogical approaches" (from the literature on neural networks) so as to interpret embedding models by extracting weighted Horn rules from them. We show how pedagogical approaches have to be adapted to take upon the large-scale relational aspects of knowledge bases and show experimentally their strengths and weaknesses.

研究の動機と目的

• 知識ベース補完における最先端の埋め込みモデルの解釈不能性を是正すること。
• もともとニューラルネットワーク向けに開発された教育的技術を、構造的・記号的出力を備えた関係的知識ベースに適応すること。
• サブグラフ特徴を用いて、埋め込みモデルの予測を解釈可能で重み付きの Horn 論理式として生成すること。
• 埋め込みからの規則抽出における忠実性、正確性、解釈可能性のトレードオフを評価すること。
• 埋め込みベースの知識ベース推論を説明するための今後の手法の基盤を提供すること。

提案手法

• 埋め込みモデルの予測から得られる特徴に基づいて、解釈可能なモデル（ロジスティック回帰）を訓練することで、教育的アプローチを適応する。
• サブグラフ特徴抽出（SFE）を用い、知識グラフ内のエンティティ間の経路タイプを表すバイナリ特徴を生成する。
• 各エンティティの周囲をk回のランダムウォークで生成し、サブグラフを統合して、各（頭部、関係、末尾）トリプルの経路ベースの特徴行列を構築する。
• 2つのバリエーションを適用：XKE-PRED は埋め込みモデルの予測を教師信号として使用する。XKE-TRUE は真値ラベルを教師信号として使用する。
• 解釈可能なモデルから重み付き Horn 論理式を抽出し、それぞれの規則が知識グラフ内の経路に対応し、関連する信頼度スコアを持つ。
• 閾値ベースの分類を用いてトリプルの存在を判定し、学習済みパラメータを用いて人間が読める説明を生成する。

実験結果

リサーチクエスチョン

• RQ1 教育的アプローチは、関係的知識ベースにおける埋め込みモデルの解釈に効果的に適応可能か？
• RQ2 XKE-PRED と XKE-TRUE は、埋め込みモデルの予測を説明する観点で、忠実性と正確性においてどのように比較されるか？
• RQ3 規則抽出における教師信号として、モデルの予測と真値のどちらを使用するかが、結果に与える影響は何か？
• RQ4 抽出された重み付き Horn 論理式は、複雑な埋め込み表現から意味的に解釈可能なパターンをどの程度捉えられるか？
• RQ5 特徴のスパarsity と経路の複雑さは、抽出された規則の解釈可能性と性能にどのように影響するか？

主な発見

• XKE-TRUE は真値ラベルを用いて学習した場合、NELL186 で 90.41% の正確性を達成し、一部のケースで埋め込みモデル自身の正確性を上回った。
• XKE-PRED は FB13 で重み付き正確性 78.97% を達成し、少なくとも1つの特徴が抽出された例では 71.88% の正確性を示した。
• XKE-TRUE は平均的に XKE-PRED よりも高い忠実性を示したが、両者とも特徴抽出のスパarsity によりカバレッジが限定的だった。
• 定性的分析では、XKE-TRUE は意味的に意味のある説明（例：家族的・宗教的つながり）を提供したが、XKE-PRED はときおり無意味な規則（例：死因と職業を結びつける）を生成した。
• この手法により、埋め込みモデル内の内部的不整合、例えば関係のない概念の間で誤った相関関係が生じていることが明らかになった。
• 解釈可能なモデルの正確性がブラックボックスモデルを上回った場合、XKE-TRUE は予測と説明の両方で好まれ、埋め込みモデルの代替として解釈可能なモデルを採用する道筋が示された。