[論文レビュー] MoET: Interpretable and Verifiable Reinforcement Learning via Mixture of Expert Trees

Marko Vasić, Andrija Petrović+4 more|arXiv (Cornell University)|Sep 25, 2019

Explainable Artificial Intelligence (XAI)被引用数 7

ひとこと要約

MoETは、ゲーティングネットワークと特化した意思決定ツリー専門家を組み合わせることで、深層強化学習における解釈可能性と検証可能性を向上させるMixture of Expert Treesフレームワークを提案する。模倣学習により訓練されたMoETは、グローバル意思決定ツリーと比較して優れた性能と低い誤予測率を達成し、Z3のような自動検証ツールと互換性を保っている。

ABSTRACT

Deep Reinforcement Learning (DRL) has led to many recent breakthroughs on complex control tasks, such as defeating the best human player in the game of Go. However, decisions made by the DRL agent are not explainable, hindering its applicability in safety-critical settings. Viper, a recently proposed technique, constructs a decision tree policy by mimicking the DRL agent. Decision trees are interpretable as each action made can be traced back to the decision rule path that lead to it. However, one global decision tree approximating the DRL policy has significant limitations with respect to the geometry of decision boundaries. We propose MoET, a more expressive, yet still interpretable model based on Mixture of Experts, consisting of a gating function that partitions the state space, and multiple decision tree experts that specialize on different partitions. We propose a training procedure to support non-differentiable decision tree experts and integrate it into imitation learning procedure of Viper. We evaluate our algorithm on four OpenAI gym environments, and show that the policy constructed in such a way is more performant and better mimics the DRL agent by lowering mispredictions and increasing the reward. We also show that MoET policies are amenable for verification using off-the-shelf automated theorem provers such as Z3.

研究の動機と目的

• 安全上の重要な応用分野における利用を制限する、深層強化学習（DRL）方策における解釈可能性の欠如に対処する。
• 非線形意思決定境界を持つ複雑なDRL方策を近似する際のグローバル意思決定ツリーの幾何的制限を克服する。
• 高い性能を維持しながら形式的検証が可能なスケーラブルで解釈可能なモデルを開発する。
• 勾配ベースの最適化を必要とせずに、非微分可能である意思決定ツリー専門家をエンドツーエンドの模倣学習パイプラインに統合する。
• Z3のような市販の定理証明ツールを用いて、学習済み方策の安全性および正しさの性質を検証できるようにする。

提案手法

• ゲーティング関数を用いて状態空間を領域に分割し、それぞれの領域に特化した意思決定ツリー専門家を割り当てる。
• 非微分可能な専門家をサポートする模倣学習手順を用いて、ゲーティングネットワークと意思決定ツリー専門家を同時に訓練する。
• 訓練中に意思決定ツリー部品を通過するバックプロパゲーションを可能にするために、微分可能リラクゼーション技術を適用する。
• 意思決定ツリーの構造を活用して、各行動ごとに人間が読みやすい意思決定ルールを生成し、解釈可能性を向上させる。
• 最終的なMoET方策をZ3のような形式的検証ツールと統合し、安全性の性質や論理的制約を確認する。
• 個々の意思決定ツリーのパスベース意思決定論理を保持することで、方策の解釈可能性を維持する。

実験結果

リサーチクエスチョン

• RQ1 Mixture of Expert Treesアーキテクチャは、単一のグローバル意思決定ツリーと比較して、模倣学習の忠実度を向上させることができるか？
• RQ2 MoETフレームワークは、高い性能を維持しながら、方策行動の形式的検証を可能にするか？
• RQ3 非微分可能な意思決定ツリー専門家は、エンドツーエンドの模倣学習パイプライン内で効果的に訓練可能か？
• RQ4 ベンチマーク環境における誤予測率と累積報酬の観点から、MoETはグローバル意思決定ツリーとどのように比較されるか？
• RQ5 Z3のような市販の定理証明ツールは、MoET方策の性質をどの程度まで検証できるか？

主な発見

• MoETは、4つのOpenAI Gym環境においてDRL方策を模倣する際、グローバル意思決定ツリーと比較して低い誤予測率を達成した。
• 評価において、MoET方策はグローバル意思決定ツリーのベースラインと比較して、累積報酬の観点で一貫して優れた性能を示した。
• 特化した意思決定ツリー専門家の使用により、MoETは状態空間における複雑な非線形意思決定境界をよりよく捉えることができた。
• Z3定理証明ツールを用いてMoET方策が成功裏に検証されたことから、形式的検証ワークフローとの互換性が実証された。
• 微分可能リラクゼーション戦略を用いることで、訓練手順が非微分可能な意思決定ツリー部品を効果的に処理できた。
• MoETの解釈可能性は維持されており、各行動予測が明確で人間が読みやすい意思決定ルールパスにたどり着けるようにした。