[論文レビュー] Logical Explanations for Deep Relational Machines Using Relevance Information

Ashwin Srinivasan, Lovekesh Vig+1 more|arXiv (Cornell University)|Jul 2, 2018

Explainable Artificial Intelligence (XAI)被引用数 12

ひとこと要約

本論文は、関係的深層機械（DRMs）の予測に対して論理的・記号的説明を生成する手法を提案する。この手法は、関連性情報を利用した事前分布を用いる。一階論理特徴のランダム化された命題化とベイズに類似したスコア付け手法を組み合わせることで、最先端の予測性能を達成するとともに、分野固有の関連性を反映した局所的に正確で意味のある論理的説明を生成し、精度を損なうことなく解釈可能性を向上させる。

ABSTRACT

Our interest in this paper is in the construction of symbolic explanations for predictions made by a deep neural network. We will focus attention on deep relational machines (DRMs, first proposed by H. Lodhi). A DRM is a deep network in which the input layer consists of Boolean-valued functions (features) that are defined in terms of relations provided as domain, or background, knowledge. Our DRMs differ from those proposed by Lodhi, which use an Inductive Logic Programming (ILP) engine to first select features (we use random selections from a space of features that satisfies some approximate constraints on logical relevance and non-redundancy). But why do the DRMs predict what they do? One way of answering this is the LIME setting, in which readable proxies for a black-box predictor. The proxies are intended only to model the predictions of the black-box in local regions of the instance-space. But readability alone may not enough: to be understandable, the local models must use relevant concepts in an meaningful manner. We investigate the use of a Bayes-like approach to identify logical proxies for local predictions of a DRM. We show: (a) DRM's with our randomised propositionalization method achieve state-of-the-art predictive performance; (b) Models in first-order logic can approximate the DRM's prediction closely in a small local region; and (c) Expert-provided relevance information can play the role of a prior to distinguish between logical explanations that perform equivalently on prediction alone.

研究の動機と目的

• 深層関係機械（DRMs）が行う予測に対して、読めるだけでなく意味のある記号的・論理的説明を生成する手法を開発すること。
• 既存の代理説明手法を改善し、分野固有の関連性情報を事前分布として組み込むことで、単なる読みやすさを越えた説明の解釈可能性を向上させること。
• ランダム化された命題化を用いて構築されたDRMsが、完全なILPベースの特徴選択を必要とせずに最先端の予測性能を達成できることを示すこと。
• 関連性に基づく事前分布が、論理的に同等の説明の間で、専門家知識と整合するものを優先できることを調査すること。
• 将来の因果的説明およびモデル予測の人間理解可能性に関する研究の基盤を築くこと。

提案手法

• 背景知識から一階論理特徴を生成するために、ランダム化された命題化手法を用い、完全なILPベースの特徴選択を回避する。
• これらの論理的特徴に基づいて深層ニューラルネットワーク（DRM）を学習させ、高い精度の予測を実現する。
• 局所的な記号的説明は、インスタンス空間の小さな領域においてDRMの予測を近似する論理的モデルを構築することで生成する。
• 候補となる論理的説明を順位付けするために、尤度（予測精度）と専門家知識から導かれる関連性に基づく事前分布を組み合わせたベイズに類似したスコア関数を適用する。
• 関連性事前分布は、特定の述語や論理的組み合わせを好むようにエンコードされ、分野専門知識が意味のある概念を示す。
• 記号的学習アルゴリズムを用いて、局所的に正確でかつ分野知識に根ざした意味的根拠を持つ一階論理説明を生成する。

実験結果

リサーチクエスチョン

• RQ1 ランダム化された命題化手法を用いることで、完全なILP特徴選択を必要とせずに最先端の予測性能を達成できるDRMsを構築できるか？
• RQ2 一階論理モデルはDRMの予測に対して正確で意味のある局所的説明として機能できるか？
• RQ3 専門家が提供する関連性情報は、論理的に同等の説明を区別する有効な事前分布として機能できるか？
• RQ4 関連性に基づく事前分布を組み込むことで、単なる読みやすさを超えた説明の解釈可能性がどのように向上するか？
• RQ5 このような説明がどれほど分野固有の知識を反映し、無関係または不適切な論理的構造を避けることができるか？

主な発見

• 提案されたランダム化された命題化手法を用いて構築されたDRMsは、小さな訓練データセットでも最先端の予測性能を達成する。
• 一階論理モデルは、インスタンス空間の小さな局所領域においてDRMの予測を密に近似でき、これが局所的説明としての有効性を裏付ける。
• 専門家が提供する関連性情報は、同等だが意味が薄い代替案よりも概念的に意味のある論理形式を優先することで、説明品質を顕著に向上させる。
• 関連性事前分布を組み込んだベイズに類似したアプローチは、予測精度と意味的関連性の両立に成功し、正確で解釈可能な説明を生成する。
• この手法は、記号的説明が予測的かつ意味的であることを示し、純粋に読めるが理解不能なモデルの限界を克服する。
• 実験的結果は、本手法が、単に読みやすいだけでなく分野関連の概念に根ざした説明を生成する点で、従来の代理ベース手法を上回ることを示している。