[論文レビュー] Learning Symbolic Rules for Interpretable Deep Reinforcement Learning

Zhihao Ma, Yuzheng Zhuang+5 more|arXiv (Cornell University)|Mar 15, 2021

Reinforcement Learning in Robotics参考文献 34被引用数 8

ひとこと要約

本論文は、ニューラルアテンションネットワークと一階論理推論を統合することで、解釈可能なディープ強化学習を実現するフレームワークであるニューラルシンボリック強化学習（NSRL）を提案する。異なる微分可能なマルチホップ推論を通じてシンボリックルールを学習することで、モンテズマの復讐やブロックズワールドといった複雑な環境でも競争力のある性能を達成するとともに、人間が読める論理的ルールを抽出し、従来のニューロシンボリック手法に比べて優れた解釈可能性とスケーラビリティを提供する。

ABSTRACT

Recent progress in deep reinforcement learning (DRL) can be largely attributed to the use of neural networks. However, this black-box approach fails to explain the learned policy in a human understandable way. To address this challenge and improve the transparency, we propose a Neural Symbolic Reinforcement Learning framework by introducing symbolic logic into DRL. This framework features a fertilization of reasoning and learning modules, enabling end-to-end learning with prior symbolic knowledge. Moreover, interpretability is achieved by extracting the logical rules learned by the reasoning module in a symbolic rule space. The experimental results show that our framework has better interpretability, along with competing performance in comparison to state-of-the-art approaches.

研究の動機と目的

• ディープ強化学習（DRL）における解釈可能性の欠如に取り組むために、シンボリック論理をポリシー学習プロセスに統合すること。
• エキスパートが設計したルールやオラクル遷移モデルへの依存を低減し、事前知識を組み込んだエンドツーエンド学習を可能にすること。
• 従来の微分可能な帰納的論理プログラミング（ILP）手法と比較して、スケーラビリティとメモリ効率を向上させること。
• アクション選択に使用された最も関連性の高い論理的ルールを抽出・可視化することで、内在的な解釈可能性を実現すること。
• ニューロシンボリック推論が、モンテズマの復讐のような複雑で高次元の環境でも競争力のある性能を達成できることを示すこと。

提案手法

• シンボリック状態上での関係的推論を実行するためのマルチホップアテンションネットワークに基づくニューロ論理推論モジュールを導入する。
• アテンション機構を用いた微分可能な前向きチェーンを採用し、エンドツーエンドの方法で一階論理（FOL）ルールの学習と推論を実現する。
• 推論パス上のアテンション重みを用いてルールの信頼性を推定し、高信頼度のシンボリックルールの抽出を可能にする。
• タスクの分解を可能にする階層的強化学習（HRL）を適用し、ハイレベルポリシーがシンボリックに推論を行う一方で、ローレベルポリシーが環境と相互作用するようにする。
• 行列乗算技術を活用して関係的パスを効率的に計算し、従来の微分可能なILP手法と比較してスケーラビリティを向上させる。
• アテンション重み付きパスから解釈可能なチェーン型の論理的ルールを抽出し、アクション選択のための人に読みやすい説明を提供する。

実験結果

リサーチクエスチョン

• RQ1 ニューロシンボリックフレームワークは、ディープ強化学習において高い性能と内在的な解釈可能性の両方を達成できるか？
• RQ2 手動で設計されたルールテンプレートやオラクルモデルに依存せずに、どのようにシンボリック推論をディープRLに統合できるか？
• RQ3 微分可能なニューロシンボリックRLフレームワークは、既存のILPベースのアプローチと比較して、スケーラビリティとメモリ効率に優れているか？
• RQ4 アテンションベースの推論は、生の状態表現から意味的で人間が読める論理的ルールをどれほど効果的に抽出できるか？
• RQ5 このようなフレームワークは、モンテズマの復讐のような複雑で高次元の環境を解けるのか、かつ解釈可能性を維持できるか？

主な発見

• NSRLはモンテズマの復讐やブロックズワールドで競争力のある性能を達成しており、最先端のNLRL手法と比較して報酬が0.008以内の差に収まっている。
• NSRLはNLRLと比較して、メモリ使用量を2.7倍削減し、推論時間を4.5倍短縮しており、優れたスケーラビリティを示している。
• アテンション重み付き推論パスから、'Move(X,Y) ← GoalOn(X,Y)' や 'Move(man,door) ← WithObject(man,key) ∧ KeyToDoor(key,door)' といった解釈可能なFOLルールを効果的に抽出した。
• ブロックズワールド領域では、NSRLが高アテンション信頼度を持つ5つの異なる論理的ルールを学習し、状態条件とアクションを直接的に結びつけていた。
• MLPおよびNLMエージェントと比較して、NSRLは性能と解釈可能性の両面で優れており、これらのモデルはシンボリックルールの抽出や説明ができない。
• アテンション機構は、関連性の高い関係的パスを効果的に同定し、人間が読める意味を持つ論理的ルールとして解釈可能にしている。