[論文レビュー] Towards Explainable Neural-Symbolic Visual Reasoning

Adrien Bennetot, Jean-Luc Laurent+2 more|arXiv (Cornell University)|Sep 19, 2019

Explainable Artificial Intelligence (XAI)参考文献 22被引用数 34

ひとこと要約

論文はデータから直接知識ベースを構築し、象徴的推論で学習を制約し、それを用いてニューラルネットワークの偏りを明らかにし是正する神経-シンボリックな説明可能モデルを提案し、画像キャプション生成で実証する。

ABSTRACT

Many high-performance models suffer from a lack of interpretability. There has been an increasing influx of work on explainable artificial intelligence (XAI) in order to disentangle what is meant and expected by XAI. Nevertheless, there is no general consensus on how to produce and judge explanations. In this paper, we discuss why techniques integrating connectionist and symbolic paradigms are the most efficient solutions to produce explanations for non-technical users and we propose a reasoning model, based on definitions by Doran et al. [2017] (arXiv:1710.00794) to explain a neural network's decision. We use this explanation in order to correct bias in the network's decision rationale. We accompany this model with an example of its potential use, based on the image captioning method in Burns et al. [2018] (arXiv:1803.09797).

研究の動機と目的

• AIにおける解釈可能性を喚起し、非技術的な利用者にも理解できる説明の必要性を強調する。
• データに基づいて導出された内部知識ベース（KB）とブラックボックスのニューラルモデルを結合する神経-シンボリックアーキテクチャを提案する。
• KBがモデルの偏りを明らかにし、堅牢性と性能を向上させる学習を導く方法を示す。
• 既存の画像キャプション生成法を適応させて推論と予測における偏りを露呈させることで手法を実証する。

提案手法

• Doran et al. (2017) の神経-シンボリックフレームワークを拡張し、外部から供給されたKBを使う代わりにデータから直接KBを構築する。
• 最初のブラックボックスから象徴的ルールを抽出し、それを別のブラックボックスに反映させて学習を制約する（例：損失関数、初期化、ハイパーパラメータを通じて）。
• KBを用いて照会に答える推論部（reasoner）を定義し、説明を最終出力へ結びつける。
• Burns et al. (2018) の損失関数を一般化し、Confusion LossとConfidence Lossを介して偏りが生じやすい語の処理を行い、証拠が弱い場合には中立性を、証拠が強い場合には特異性を促す。
• L_CE（交差エントロピー）をL_ConfusionとL_Confidenceと統合し、文脈の活用と偏りを意識した説明のバランスを取る損失関数を統一的に用いる。
• 基礎キャプショニングネットワーク（Vinyals et al. 2014）を用いて画像キャプション生成へ適用し、KBを導くための偏り検出語集合 B_word を導出する。
• reasoner を介して予測を自然言語で説明し、潜在的な偏りと学習プロセスを強調する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークの学習データから直接知識ベースを導出して、忠実な説明を支えるにはどうすればよいか？
• RQ2 視覚言語タスクにおける偏りを神経-シンボリック推論で減らし、モデルの判断を解釈可能な自然言語の説明として提供できるか？
• RQ3 証拠があるときには自信を持たせ、ないときには混乱させるような損失関数をどのように設計すれば、偏りを露わにできるか？
• RQ4 神経-シンボリックのキャプショニング/認識システムにおいて、性能を維持することと解釈可能性を達成することのトレードオフは何か？

主な発見

• 提案されたモデルはニューラルネットワークの偏りの出所を検出し、文脈が弱い場合には偏りのない予測を提供できる。
• このアプローチは、モデルの損失ベースの最適化プロセスを反映した自然言語の説明を生み出す。
• データ駆動型KBの抽出と利用は学習を制約しつつ性能を向上させ、推論を透明にする。
• 偏りが生じやすい語集合（B_word）を活用して、言い換え可能な用語の間で躊躇させ、過剰一般化を減らすようモデルを促す。
• 本手法は高レベルの象徴的推論とニューラル予測子を結合して、正確性を損なうことなく忠実な説明を生み出す方法を示す。