[論文レビュー] Self-explaining deep models with logic rule reasoning

Seungeon Lee, Xiting Wang+4 more|arXiv (Cornell University)|Oct 13, 2022

Explainable Artificial Intelligence (XAI)被引用数 6

ひとこと要約

本論文は、人間の意思決定論理と整合する人間が正確に理解できる説明を生成しつつ、高い予測性能を維持する、論理規則推論を統合した自己説明型ディープラーニングフレームワーク、SELORを提案する。入力の多様性にわたる忠実で安定的かつ意味的に整合性のある説明を、人間がアノテートした根拠を一切用いずに、エンドツーエンドで微分可能に学習することで実現する。

ABSTRACT

We present SELOR, a framework for integrating self-explaining capabilities into a given deep model to achieve both high prediction performance and human precision. By "human precision", we refer to the degree to which humans agree with the reasons models provide for their predictions. Human precision affects user trust and allows users to collaborate closely with the model. We demonstrate that logic rule explanations naturally satisfy human precision with the expressive power required for good predictive performance. We then illustrate how to enable a deep model to predict and explain with logic rules. Our method does not require predefined logic rule sets or human annotations and can be learned efficiently and easily with widely-used deep learning modules in a differentiable way. Extensive experiments show that our method gives explanations closer to human decision logic than other methods while maintaining the performance of deep learning models.

研究の動機と目的

• 自己説明型モデルにおける人間が正確に理解できる説明の欠如に取り組む。ここでは、説明が解釈可能ではあるが、人間の推論と一致しない場合がある。
• 説明がグローバルに一貫性を持つ（人間の論理形式に従う）とともに、ローカルに一貫性を持つ（予測に対する正しい根拠を提供する）方法を確立する。この際、人間がアノテートした意思決定プロセスを必要としない。
• 標準的なディープラーニングモジュールを用いて、事前に定義された規則や後処理の近似に依存せずに、エンドツーエンドで微分可能な論理規則説明を学習可能にする。
• 説明がモデルの出力に忠実であるだけでなく、人間にとって直感的で実行可能であるようにすることで、ユーザーの信頼とモデルとの協働を向上させる。

提案手法

• 深層表現からシンボリック論理規則を生成する微分可能な論理規則生成器を学習し、1回のフォワードパスで予測と説明を同時に実行可能にする。
• 入力特徴上での論理規則の真偽を評価する微分可能な論理推論モジュールを採用し、論理演算子を介したバックプロパゲーションを可能にする。
• 予測損失と説明の一貫性損失を組み合わせたマルチタスク目的関数によりモデルを訓練し、モデル出力および人間の認識に忠実な説明を促進する。
• 学習可能な論理演算子空間を用いて論理規則を構築し、AND、OR、および「〜より前」のようなカスタム関係など、人間の推論パターンを反映する柔軟な形式を可能にする。
• 事前に定義された規則セットや人間がアノテートした根拠を必要とせず、スケーラブルでデータ駆動型の規則発見を実現する。
• 入力の微小な摂動（例：同義語の入れ替え）に対して説明が変化しないよう制御することで、説明の安定性を確保する。ただし、重要特徴が変化した場合は例外とする。

実験結果

リサーチクエスチョン

• RQ1 自己説明型モデルは、モデルに忠実であるだけでなく、人間の意思決定論理とも一致する説明を生成できるか？
• RQ2 人間がアノテートした根拠を必要とせずに、微分可能かつエンドツーエンドで学習可能な形で論理規則をディープラーニングモデルに統合できるか？
• RQ3 微小な入力摂動に対して説明が安定し、同時に重要な意味的変化に適応できるか？
• RQ4 論理規則の使用により、従来の後処理型または局所的説明手法と比較して、人間の正確さが向上するか？

主な発見

• 人間評価により、感情分類タスクにおいて、既存の後処理型または自己説明型手法と比較して、SELORは人間の意思決定論理にはるかに近い説明を生成することが確認された。
• 標準的なディープラーニングモデルと同等の高い予測性能を維持しており、解釈可能性が精度の低下を伴うものではないことを示している。
• 微小な入力変更（例：'pizza'を'pasta'に、'waiters'を'servers'に置き換え）に対しても説明が安定しており、感情に重要なキーワードが変化した場合（例：'cold'を'hot'に）には意味的に適切に変化する。
• 重要な感情キーワードが変更された場合（例：'cold'を'hot'、'rude'を'polite'に）には、SELORは文脈的に適切な新しい論理規則を生成し、適応的推論を示している。
• 本フレームワークは高い人間の正確さを達成しており、人間のアノテーターが説明を正しい根拠と認識するケースが多く、線形モデルやアテンションベースの説明ベースラインを上回っている。
• 事前に定義された規則セットを必要とせず、自然な人間の推論パターンを反映する解釈可能な論理規則（例：'awful AND cold AND rude → Negative'）を学習可能である。