[論文レビュー] Interpretable Policy Specification and Synthesis through Natural Language and RL

Pradyumna Tambwekar, Andrew Silva+2 more|arXiv (Cornell University)|Jan 18, 2021

Explainable Artificial Intelligence (XAI)参考文献 34被引用数 4

ひとこと要約

本論文は、自然言語を用いてロボットの行動を指定できる新しいフレームワークを提案する。この自然言語は、解釈可能な意思決定木に変換され、強化学習のウォームスタートに利用される。この手法は、自然言語から意思決定木へのマッピングで96–97%の正確さを達成し、言語ベースのポリシー初期化を活用することで、ベースラインを著しく上回る（p < 0.001）。

ABSTRACT

Policy specification is a process by which a human can initialize a robot's behaviour and, in turn, warm-start policy optimization via Reinforcement Learning (RL). While policy specification/design is inherently a collaborative process, modern methods based on Learning from Demonstration or Deep RL lack the model interpretability and accessibility to be classified as such. Current state-of-the-art methods for policy specification rely on black-box models, which are an insufficient means of collaboration for non-expert users: These models provide no means of inspecting policies learnt by the agent and are not focused on creating a usable modality for teaching robot behaviour. In this paper, we propose a novel machine learning framework that enables humans to 1) specify, through natural language, interpretable policies in the form of easy-to-understand decision trees, 2) leverage these policies to warm-start reinforcement learning and 3) outperform baselines that lack our natural language initialization mechanism. We train our approach by collecting a first-of-its-kind corpus mapping free-form natural language policy descriptions to decision tree-based policies. We show that our novel framework translates natural language to decision trees with a 96% and 97% accuracy on a held-out corpus across two domains, respectively. Finally, we validate that policies initialized with natural language commands are able to significantly outperform relevant baselines (p < 0.001) that do not benefit from our natural language-based warm-start technique.

研究の動機と目的

• ロボティクス分野における現在のポリシー指定手法に見られる解釈可能性とアクセスの欠如に対処すること。
• 専門外のユーザーが自然言語を用いて共同でロボットの行動を定義できるようにすること。
• 自然言語記述を解釈可能な意思決定木ポリシーに変換する機械学習フレームワークを開発すること。
• 言語で指定されたポリシーをウォームスタートとして用いることで、強化学習のパフォーマンスを向上させること。
• 自由形式の自然言語から意思決定木ベースのポリシーへのマッピングを網羅する、画期的なコーパスを構築すること。

提案手法

• 本フレームワークは、2つのドメインにわたり、自然言語記述と対応する意思決定木ポリシーをペairedした新しいコーパスを収集する。
• 自由形式の自然言語を構造的な意思決定木にマッピングするためのニューラルシーケンスツリーモデルを訓練する。
• 学習されたポリシー表現を用いて、ディープ強化学習エージェントの初期化とウォームスタートを実施する。
• 言語とポリシー構造の間の整合性を向上させるために、アテンション機構を備えた判別的シーケンスツリー構造を採用する。
• ポリシーを意思決定木形式に制限することで、人間が読みやすく、編集可能な形を保証し、解釈可能性を確保する。
• ゼロショット転送（言語からポリシーへの転送）を実施し、その後、下流タスクにおける強化学習のファインチューニングを実施して評価する。

実験結果

リサーチクエスチョン

• RQ1 ロボット制御タスクにおいて、自然言語記述を解釈可能な意思決定木ポリシーに正確にマッピングできるか？
• RQ2 言語ベースのポリシー初期化は、強化学習エージェントのサンプル効率と最終パフォーマンスにどのように影響するか？
• RQ3 ブラックボックスポリシー指定のベースラインと比較して、提案フレームワークはパフォーマンスと解釈性の面でどの程度向上するか？
• RQ4 専門外のユーザーが最小限の監視で自然言語を用いてロボットの行動を効果的に指定できるか？
• RQ5 学習された言語からポリシーへのマッピングは、異なるロボットドメインに一般化可能か？

主な発見

• 2つの異なるドメインにおいて、ホールドアウトテストセット上で自然言語から意思決定木へのマッピングが96%および97%の正確さを達成した。
• 自然言語コマンドを用いたポリシー初期化は、言語ベースのウォームスタートを実施しないベースライン手法を著しく上回る（p < 0.001）。
• 解釈可能な意思決定木の使用により、人間のユーザーがポリシーを検査・理解・変更可能となり、共同作業の質が向上した。
• 言語-ポリシー対のコーパスのおかげで、新しいタスクへのゼロショット転送が高精度で実現できた。
• 自然言語がロボティクスにおけるポリシー指定の有効かつアクセスしやすいモダリティであることが示された。