[論文レビュー] Explaining Trained Neural Networks with Semantic Web Technologies: First Steps

Md Kamruzzaman Sarker, Ning Xie+3 more|arXiv (Cornell University)|Oct 11, 2017

Anomaly Detection Techniques and Applications参考文献 13被引用数 28

ひとこと要約

本稿では、訓練済みニューラルネットワークを説明するための新規アプローチを提案する。構造的なセマンティックウェブ知識（例：RDF/OWLオントロジー）を統合することで、人間が理解可能な非命題的説明を生成する。DL-LearnerなどのツールとSUMOからの背景知識を用い、画像分類を説明する論理的で概念的な記述（例：「水中の水体を含む」）を生成し、倉庫、市場、山の画像データセットを用いた予備実験を通じて実現可能性を示している。

ABSTRACT

The ever increasing prevalence of publicly available structured data on the World Wide Web enables new applications in a variety of domains. In this paper, we provide a conceptual approach that leverages such data in order to explain the input-output behavior of trained artificial neural networks. We apply existing Semantic Web technologies in order to provide an experimental proof of concept.

研究の動機と目的

• ブラックボックス型ニューラルネットワークにおける人間が理解可能な説明の欠如に取り組むこと、特に安全が重要な応用分野において。
• 命題的ルール抽出を越えて、RDF/OWLオントロジーからの非命題的で意味的な知識を活用すること。
• 外部の構造的知識（例：SUMO, Wikidata）を統合し、ニューラルネットワークの挙動の説明を簡素化および拡張すること。
• 入出力マッピングおよび内部ニューロンの活性化を説明するために、意味的背景知識の使用を検討すること。
• セマンティックウェブ技術を用いたニューラルシンボリック統合の概念的および実験的基盤を確立すること。

提案手法

• RDFによる知識表現とOWLによるオントロジー・モデリングを用いて、背景知識を符号化する。
• DL-Learnerツールを用い、学習データと背景知識から論理的で概念的な記述（記述論理における）を自動的に誘導する。
• 入力特徴（例：オブジェクト認識による検出された画像オブジェクト）をSUMOのような形式的オントロジー内の概念にマッピングする。
• 分類に至る意味的条件を記述する論理式（例：∃contains.BodyOfWater）として説明を定式化する。
• 正例および負例の画像を用いて説明生成器を学習することで、画像分類タスクにこの手法を適用する。
• オントロジーの階層（例：「オーク」と「メープル」を「木」の下位クラスとして）を用い、説明の一般化および簡素化を図る。

実験結果

リサーチクエスチョン

• RQ1 構造的なセマンティックウェブ知識は、命題的ルール抽出を越えてニューラルネットワークの予測の解釈可能性を向上させることができるか？
• RQ2 非命題的で概念ベースの説明（例：「水中の水体を含む」）をニューラルネットワークの入力から自動的に生成する方法は何か？
• RQ3 SUMOのようなオントロジーからの背景知識は、説明の簡潔さと意味的意義をどの程度向上させるか？
• RQ4 人間の監視者が、キービジュアル特徴が欠落しているようなモデルの誤分類を検出・是正するために、これらの説明を活用できるか？
• RQ5 背景知識の選択が、生成された説明の質および正確性にどのように影響するか？

主な発見

• 本手法は、山の画像に対して「水中の水体を含む」といった意味的に意味のある説明を成功裏に生成し、視覚的コンテンツと整合した。
• 「家具や産業用備品を含まない」といった説明は、オブジェクト検出が不完全であっても、作業室と倉庫を正しく区別できた。
• システムは、倉庫の画像でフォークリフトのドライバーがモデルによって無視されていることを特定した。これは、人間が関与する是正プロセスの可能性を示唆している。
• オントロジーの一般化（例：「オーク」と「メープル」を「木」という上位クラスとして）を用いることで、説明の複雑さが低下し、背景知識が説明を簡素化するという仮説を支持した。
• 実験では、説明が視覚的特徴（例：山の画像における川や湖の存在）と整合しており、入力データとの整合性が確認された。
• 既存のセマンティックウェブスタックとDL-Learnerなどのツールを用いて、非命題的で人間が読み取れる説明を生成するという手法の実現可能性が示された。