[論文レビュー] Explainability in reinforcement learning: perspective and position

Agneza Krajna, Mario Brčić+2 more|arXiv (Cornell University)|Mar 22, 2022

Explainable Artificial Intelligence (XAI)被引用数 16

ひとこと要約

本稿は、強化学習（XRL）における体系的な説明手法の欠如に応じて、説明可能強化学習（XRL）のための包括的で統一された分類体系と、三本柱の枠組み（能動性、リスク志向、認識論的制約）を提案する。この枠組みは、最短経路問題の変種に適用され、単一の行動ではなく方策レベルの説明に重点を置くことで、安全が求められる応用分野における信頼性と透明性を向上させる。

ABSTRACT

Artificial intelligence (AI) has been embedded into many aspects of people's daily lives and it has become normal for people to have AI make decisions for them. Reinforcement learning (RL) models increase the space of solvable problems with respect to other machine learning paradigms. Some of the most interesting applications are in situations with non-differentiable expected reward function, operating in unknown or underdefined environment, as well as for algorithmic discovery that surpasses performance of any teacher, whereby agent learns from experimental experience through simple feedback. The range of applications and their social impact is vast, just to name a few: genomics, game-playing (chess, Go, etc.), general optimization, financial investment, governmental policies, self-driving cars, recommendation systems, etc. It is therefore essential to improve the trust and transparency of RL-based systems through explanations. Most articles dealing with explainability in artificial intelligence provide methods that concern supervised learning and there are very few articles dealing with this in the area of RL. The reasons for this are the credit assignment problem, delayed rewards, and the inability to assume that data is independently and identically distributed (i.i.d.). This position paper attempts to give a systematic overview of existing methods in the explainable RL area and propose a novel unified taxonomy, building and expanding on the existing ones. The position section describes pragmatic aspects of how explainability can be observed. The gap between the parties receiving and generating the explanation is especially emphasized. To reduce the gap and achieve honesty and truthfulness of explanations, we set up three pillars: proactivity, risk attitudes, and epistemological constraints. To this end, we illustrate our proposal on simple variants of the shortest path problem.

研究の動機と目的

• 教師あり学習における説明可能AIと比較して、説明可能強化学習（XRL）における顕著なギャップを埋める。
• 強化学習における報酬の遅延、責任割り当て、非i.i.d.データといった課題に起因するXRL説明の困難を克服する。
• 説明生成者と受容者との間のギャップを、原理的かつユーザ中心の枠組みを導入することで縮小する。
• 安全が求められる分野における、真実性、信頼性、実行可能性を兼ね備えたXRL説明の基準を確立する。
• 多様な応用シナリオとユーザープロファイルを想定した、XRL手法の評価の概念的基盤を提供する。

提案手法

• XRLのための新規な四軸分類を導入：時間的スコープ（反応的／能動的）、環境タイプ（決定的／確率的）、方策タイプ（決定的／確率的）、エージェント数（単数／複数）。
• 真実性のある説明のための三本柱を提唱：能動性（予測的方策説明）、リスク志向（個別化されたリスク感受性）、認識論的制約（意思決定者の計算限界）。
• 環境、方策、エージェントタイプを変化させた単純な最短経路問題の変種に、この枠組みを適用し、説明設計の例示を行う。
• 構造的因果モデル、報酬分解、階層的方策、関係的強化学習を、主な説明技術として用いる。
• 長期的な信頼性とシステム理解を支援するため、行動レベルの説明よりも方策レベルの説明に重点を置く。
• 人間および機械的推論の現実的限界を反映させるために、認識論的制約を統合し、楽観的すぎたり誤解を招くような説明を回避する。

実験結果

リサーチクエスチョン

• RQ1 タイミングや範囲を越えて、強化学習における説明可能性を体系的に分類する方法は何か？
• RQ2 報酬の遅延と責任割り当ての特性により、強化学習における真実性・信頼性・ユーザ関連性を備えた説明を生成する際の主な課題は何か？
• RQ3 意思決定者の個別のリスク志向や計算制約を説明にどのように組み込むことができるか？
• RQ4 近似強化学習アルゴリズムにおいて、エージェントと問題との間の本体論的・認識論的ギャップが、説明の妥当性をどのように損なうか？
• RQ5 反応的で行動中心の説明と比較して、能動的説明はどのようにユーザの信頼性とシステムの透明性を向上させるか？

主な発見

• 能動性、リスク志向、認識論的制約の三本柱から成る本稿の枠組みは、真実性と信頼性を兼ね備えたXRL説明のための原理的基盤を提供する。
• ユーザーは、行動に特化した反応的説明よりも、方策の能動的説明を好む。これは、長期的認識と信頼性の構築を支援する。
• 現在のXRL手法は、しばしば方策の説明を欠き、代わりに個別の行動に焦点を当てている。その結果、透明性と使いやすさが制限される。
• リスク志向や計算制約を無視した説明は、特に安全が求められる分野において、誤解を招くか現実的でない推奨を生じさせる可能性がある。
• 本稿の枠組みは、情報が理論的には利用可能であっても、計算上の実用的限界により、省略された知識に敏感な説明が必要になる可能性を明らかにした。
• 本稿は、教師ありXAIで用いられるのと同様に、XRL手法のための新規な評価フレームワーク（例：説明可能Fact Sheet）の必要性を特定した。