[論文レビュー] Right for the Right Concept: Revising Neuro-Symbolic Concepts by Interacting with their Explanations

Wolfgang Stammer, Patrick Schramowski+1 more|arXiv (Cornell University)|Nov 25, 2020

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

この論文は、視覚的アテンションマップに依存せず、オブジェクトレベルでの記号的・構文的説明による相互作用を通じて、ニューロ・シンボリック概念学習モデルを再設計するNeuro-Symbolic Explanatory Interactive Learning (NeSy XIL) を提案する。新規の偏りのあるデータセット（CLEVR-Hans）を用いた実験により、『色に注目してはいけない』といった意味的フィードバックが、グレーの立方体のような共変化要因を効果的に排除し、視覚的説明に基づく手法を上回るモデルの頑健性と精度を向上させることを示した。

ABSTRACT

Most explanation methods in deep learning map importance estimates for a model's prediction back to the original input space. These "visual" explanations are often insufficient, as the model's actual concept remains elusive. Moreover, without insights into the model's semantic concept, it is difficult -- if not impossible -- to intervene on the model's behavior via its explanations, called Explanatory Interactive Learning. Consequently, we propose to intervene on a Neuro-Symbolic scene representation, which allows one to revise the model on the semantic level, e.g. "never focus on the color to make your decision". We compiled a novel confounded visual scene data set, the CLEVR-Hans data set, capturing complex compositions of different objects. The results of our experiments on CLEVR-Hans demonstrate that our semantic explanations, i.e. compositional explanations at a per-object level, can identify confounders that are not identifiable using "visual" explanations only. More importantly, feedback on this semantic level makes it possible to revise the model from focusing on these factors.

研究の動機と目的

• ディープラーニングモデルにおける共変化要因を特定するのに視覚的説明が限界を示す問題に対処すること。
• ユーザーが入力レベルだけでなく、意味的コンセプトレベルでもモデルを修正できるようにすること。
• 記号的フィードバックを用いたインタラクティブなモデル行動の再設計を可能にするニューロ・シンボリックフレームワークの開発。
• 分離不可能な共変化要因を有する新しいベンチマークデータセット（CLEVR-Hans）の作成。
• 記号的レベルでのグローバルフィードバックルールが、ニューロ・シンボリックモデルにおけるClever-Hans行動を効果的に是正できることの実証。

提案手法

• スロットアテンションとセットトランスフォーマーを組み合わせたニューロ・シンボリック概念学習モデルを提案し、エンド・ツー・エンド微分可能なオブジェクト中心の表現学習を実現。
• 特に色のような共変化属性に依存するのを防ぐために、誤った記号的説明への依存をペナルティ化する新しい損失関数を導入。
• 誤った説明の記号的アノテーションを用いて最適化を誘導し、『正しい理由で正しい』結果を得られるように再設計を可能にする。
• 個々のオブジェクトに対する記号的説明を公開することで、視覚的および概念的レベルでの説明的インタラクティブラーニング（XIL）を実現。
• 『グレーに注目してはいけない』といった、複数のインスタンスに一般化可能なグローバルフィードバックルールを導入し、モデルの一般化性能を向上。
• 人間と機械の対話のための記号的抽象化レイヤーを導入し、生の入力特徴ではなくコンセプトレベルでの相互作用を可能にする。

Figure 1 : Neuro-Symbolic explanations are needed to revise deep learning models from focusing on irrelevant features via global feedback rules.

実験結果

リサーチクエスチョン

• RQ1 標準的な視覚的説明手法では見えない共変化要因を、記号的かつ構文的な説明が特定できるか？
• RQ2 再訓練を一切行わずに、記号的レベルでのグローバルフィードバックルールがモデル行動を効果的に是正できるか？
• RQ3 記号的説明を用いたニューロ・シンボリックモデルの再設計が、偏りのあるデータにおける頑健性と精度を向上させるか？
• RQ4 色のような誤った相関に依存しないように、ニューロ・シンボリックモデルをインタラクティブに再設計できるか？
• RQ5 Clever-Hans行動の是正において、視覚的説明に基づくフィードバックと比較して、記号的フィードバックは効果的か？

主な発見

• CLEVR-Hans3データセットにおいて、NeSy XILはデフォルトのNeSyモデルと比較して、記号的説明の相対的L1誤差を73%低減した。
• クラス1において、グレーの色を無視するグローバルフィードバックルールを適用したことで、テスト精度が顕著に向上し、共変化要因の是正が有効であることが示された。
• 真値の記号的表現が提供された場合、モデルはほぼ完璧なテスト精度を達成し、記号的再設計メカニズムの有効性を確認した。
• 記号的損失とRRR（強化ベース正則化ルール）損失の併用により、否定的なユーザーのフィードバックが存在しても、頑健な最適化が可能だった。
• 全クラスにわたり、共変化要因（グレーの立方体）への依存が完全に排除された。記号的フィードバックが是正の一般化を可能にしたことを裏付けた。
• 結果から、視覚的説明だけでは検出できない共変化要因を特定・是正するには、記号的説明が不可欠であることが明らかになった。

Figure 2 : Visual Explanations for ColorMNIST. (Left) the general data distribution between train and test split. (Right) a typical visual explanation of a CNN. Notice digit pixels are considered as important for the wrong prediction.