[論文レビュー] Complementary reinforcement learning towards explainable agents

Jung H. Lee|arXiv (Cornell University)|Jan 1, 2019

Explainable Artificial Intelligence (XAI)参考文献 33被引用数 6

ひとこと要約

本論文では、深層強化学習（RL）エージェントの行動から学習する準記号的（QS）エージェントを提案する。このQSエージェントは、透明性のあるルールベースの意思決定システムを構築することを目的としており、高価値の状態遷移（「ハブ状態」）を特定し、単純なマッチングおよび価値ネットワークを用いることで、元のRLエージェントと同等の性能を達成しつつ、解釈可能で修正可能かつ修復可能な意思決定を可能にする。これは、医療や自動運転など高リスク分野における説明可能なAIへの道筋を提供する。

ABSTRACT

Reinforcement learning (RL) algorithms allow agents to learn skills and strategies to perform complex tasks without detailed instructions or expensive labelled training examples. That is, RL agents can learn, as we learn. Given the importance of learning in our intelligence, RL has been thought to be one of key components to general artificial intelligence, and recent breakthroughs in deep reinforcement learning suggest that neural networks (NN) are natural platforms for RL agents. However, despite the efficiency and versatility of NN-based RL agents, their decision-making remains incomprehensible, reducing their utilities. To deploy RL into a wider range of applications, it is imperative to develop explainable NN-based RL agents. Here, we propose a method to derive a secondary comprehensible agent from a NN-based RL agent, whose decision-makings are based on simple rules. Our empirical evaluation of this secondary agent's performance supports the possibility of building a comprehensible and transparent agent using a NN-based RL agent.

研究の動機と目的

• 深層強化学習（RL）エージェントにおける透明性の欠如という深刻な問題に対処すること。これは、医療や自動運転などの高リスク分野への導入を制限する要因である。
• 複雑でブラックボックスなRLエージェントの意思決定を解釈・再現できる、二次的で理解しやすいエージェントの開発。
• 透明でルールベースのメカニズムを通じて、手動による修正と段階的改善が可能な意思決定の実現。
• 複雑なタスクにおいて、単純で解釈可能なエージェントが深層RLエージェントの性能を再現できるかどうかの検証。

提案手法

• QSエージェントは、状態遷移（$\Delta S$）に関連する累積報酬を格納・取得する価値ネットワークを用い、これらを学習済みの価値として扱う。
• マッチングネットワークはコサイン類似度を用いて、現在の状態遷移と最も類似した保存済み遷移（$\Delta S$）を特定し、最高の価値を持つマッチングに基づいて最適な行動を選択する。
• エージェントは、効果的な方策の基盤をなす「ハブ状態」——高価値の遷移——を特定し、行動計画を通じてそれらに優先的に到達することを目的とする。
• ハブ状態への有効なパスが見つからない場合、エージェントは即時の遷移価値が最も高い行動を選択する。
• システムはモジュール型で独立したコンponents（マッチングノードと価値ネットワーク）で構成されており、特定の状態遷移ルールの追加・削除・変更が容易に可能である。
• 本手法は、OpenAI Gymの「lunar-lander」環境を用いて評価され、QSエージェントの性能が元のRLエージェントと比較された。

実験結果

リサーチクエスチョン

• RQ1 複雑でブラックボックスな深層RLエージェントの性能を再現できる二次的でルールベースのエージェントを訓練可能であり、意思決定プロセスが完全に透明であるか？
• RQ2 複雑でブラックボックスなRLエージェントの意思決定プロセスを、人間が分析可能な単純なルールの集合に要約できるか？
• RQ3 エージェントの行動を内部ルールに対する手動介入によって段階的に修正・改善できるシステムを構築可能か？
• RQ4 連続制御ベンチマークにおいて、透明性のある準記号的エージェントの性能は、深層RLエージェントと比べてどの程度か？

主な発見

• 準記号的（QS）エージェントは、lunar-lander環境において、元の深層強化学習エージェントと同等の性能を達成した。これは、透明なエージェントが複雑なRLの性能を再現可能であることを示している。
• QSエージェントの意思決定プロセスは、単純でモジュラーなアーキテクチャのおかげで完全に透明である。独立したマッチングネットワークと価値ネットワークは、手動での分析・修正が可能である。
• システムは段階的改善を可能にしている。性能が低い、または安全でない状態遷移ルールは削除可能であり、新しい価値のある遷移を追加しても既存の機能に影響を与えることなく実施可能である。
• QSエージェントは「ハブ状態」——効果的な方策の基盤をなす重要な遷移——を正常に特定・優先し、RL行動から学習・一般化する能力を示した。
• 価値ネットワークは遷移価値の効果的な格納・取得を実現し、マッチングネットワークは過去に観測された高価値の遷移と類似した状態に対して、信頼性高く最適な行動を選択した。