[論文レビュー] Verifiable Reinforcement Learning via Policy Extraction

Osbert Bastani, Yewen Pu+1 more|arXiv (Cornell University)|May 22, 2018

Reinforcement Learning in Robotics参考文献 33被引用数 115

ひとこと要約

本論文は、Viper を導入し、高性能な DNNオラクルとその Q-function からコンパクトで検証可能な意思決定木ポリシーを抽出する手法を提案する。これにより、強化学習タスクの安全性、頑健性、安定性の検証を効率的に行える。

ABSTRACT

While deep reinforcement learning has successfully solved many challenging control tasks, its real-world applicability has been limited by the inability to ensure the safety of learned policies. We propose an approach to verifiable reinforcement learning by training decision tree policies, which can represent complex policies (since they are nonparametric), yet can be efficiently verified using existing techniques (since they are highly structured). The challenge is that decision tree policies are difficult to train. We propose VIPER, an algorithm that combines ideas from model compression and imitation learning to learn decision tree policies guided by a DNN policy (called the oracle) and its Q-function, and show that it substantially outperforms two baselines. We use VIPER to (i) learn a provably robust decision tree policy for a variant of Atari Pong with a symbolic state space, (ii) learn a decision tree policy for a toy game based on Pong that provably never loses, and (iii) learn a provably stable decision tree policy for cart-pole. In each case, the decision tree policy achieves performance equal to that of the original DNN policy.

研究の動機と目的

• 安全性が重要な強化学習設定において、検証可能なポリシーの必要性を動機づける。
• 深層ポリシーから検証可能でノンパラメトリックな意思決定木を生成するポリシー抽出パイプラインを開発する。
• Q関数を活用することで、従来の模倣学習ベースラインよりサンプル効率とポリシーサイズを向上させる。
• 複数のタスクにわたる正確性、頑健性、安定性の解析を通じて検証可能性を実証する。

提案手法

• オラクルの Q-function を用いて訓練を導く模倣学習アルゴリズムとして Q-Dagger を定義する。
• 凸損失代替に基づく重みでデータをリサンプリングし、CART で木を訓練することにより意思決定木ポリシーを抽出する Viper を導入する。
• 先行研究と比較して Q-Dagger の性能境界がより高水準であることを示す理論的比較を定式化する。
• Viper を適用して、選択タスクで最適報酬または完璧な報酬を達成するコンパクトな木を抽出する。
• 抽出した木について、正確性（ toy Pong）、頑健性（ Atari Pong）、安定性（ cart-pole）を検証する手法を適用・適合させる。

実験結果

リサーチクエスチョン

• RQ1 DNNオラクルから学習した意思決定木ポリシーは、元のポリシーと同等の性能を達成できるか。
• RQ2 模倣学習において Q-function を活用することで、Dagger より小さく、検証可能性の高いポリシーが得られるか。
• RQ3 抽出した意思決定木ポリシーは、ベンチマークタスク全体で正確性、頑健性、安定性について効率的に検証可能か。
• RQ4 これらの設定におけるポリシーサイズ、検証可能性、獲得報酬のトレードオフはどのようになるか。

主な発見

• Viper は Atari Pong（シンボリック状態空間）、Pong ベースの toy game、および cart-pole で完璧またはほぼ完璧な報酬を達成する比較的小さな決定木（<1000 ノード）を学習する。
• Dagger と比較して、Viper は桁違いに小さな木を生み出す（例: 31-769 ノード対千単位ノード）一方でオラクルの性能を同等に再現する。
• Viper は DNN ポリシーに適合するアプローチよりも、正確性、頑健性、安定性の検証をより効率的に可能にする。
• Atari Pong では、Viper 由来の木が完璧な報酬を達成；いくつかのサンプル状態での頑健性は測定可能なマージンを示した。
• cart-pole では小さな木が完璧な報酬を達成し、SOS ベースの手法が原点周りの安定性を 5 次の Taylor 展開モデルで検証した。