[論文レビュー] Interactive Visualization for Debugging RL

Shuby Deshpande, Benjamin Eysenbach+1 more|arXiv (Cornell University)|Aug 14, 2020

Reinforcement Learning in Robotics参考文献 32被引用数 5

ひとこと要約

この論文では、リアルタイムでのロールアウト、リプレイバッファ、トラジェクトリーデータとの対話によって、エージェントの行動、状態訪問、学習ダイナミクスを探索できるようにすることで、強化学習（RL）ポリシーのデバッグと解釈を支援するインタラクティブ可視化システムVizarelを紹介する。主な貢献は、既存のツールの記述的機能を超えて、高TD誤差状態や行動パターンの特定といった評価的・生成的デバッグを可能にするフレームワークの構築である。

ABSTRACT

Visualization tools for supervised learning allow users to interpret, introspect, and gain an intuition for the successes and failures of their models. While reinforcement learning practitioners ask many of the same questions, existing tools are not applicable to the RL setting as these tools address challenges typically found in the supervised learning regime. In this work, we design and implement an interactive visualization tool for debugging and interpreting RL algorithms. Our system addresses many features missing from previous tools such as (1) tools for supervised learning often are not interactive; (2) while debugging RL policies researchers use state representations that are different from those seen by the agent; (3) a framework designed to make the debugging RL policies more conducive. We provide an example workflow of how this system could be used, along with ideas for future extensions.

研究の動機と目的

• 静的メトリクスや記述的ダッシュボードにとどまらない、RLに特化したインタラクティブな可視化ツールの不足を解消すること。
• トレーニング中のエージェント行動、状態訪問、学習ダイナミクスの変化を研究者が探索できるようにすること。
• 失敗パターン、高分散状態、ポリシー行動の異常を特定する支援となる評価的・生成的機能を提供すること。
• ロールアウトおよびリプレイデータに対するインタラクティブなクエリを可能にすることで、研究者の直感とエージェント内部の間のギャップを埋めること。
• RLトレーニングワークフローに統合され、視覚的インサイトを通じて反復的なポリシー最適化を支援するシステムを設計すること。

提案手法

• トラジェクトリーデータ、状態、リプレイバッファ、行動分布の各ビューを専用に設けたマルチビューポートインターフェースを実装する。
• ホバー、選択、フィルタリングによるリアルタイム対話機能を提供し、トラジェクトリーや状態空間における関心領域を探索可能にする。
• TD誤差、累積報酬、行動分散といった重要なRLメトリクスを時間的・空間的に可視化する。
• エージェントのトラジェクトリに沿ったTD誤差の比較を可能にし、不安定化や高誤差を引き起こす行動シーケンスを特定する。
• 状態埋め込みや行動分布といったデータストリームを統合し、高次元状態空間におけるパターン検出を支援する。
• 新たなデータタイプ（例：サリエンシー図）や視覚的コンponentを備えない分野（例：医療、教育）に対応可能な拡張性を持つフレームワークを設計する。

実験結果

リサーチクエスチョン

• RQ1 インタラクティブ可視化は、静的メトリクスや記述的ダッシュボードにとどまらない、RLポリシーのデバッグをどのように改善できるか？
• RQ2 研究者が状態ダイナミクスとポリシーの結果の因果関係を理解するのを支援するには、どのようなインタラクティブ機能が必要か？
• RQ3 リプレイバッファおよびトラジェクトリの可視化によって、持続的な高TD誤差や行動分散のパターンが明らかになるか？ それらはアルゴリズム的問題の兆候となるか？
• RQ4 可視化は、観察された行動に基づいて意図的な干渉を設計する支援となる生成的デバッグをどのように支援できるか？
• RQ5 インタラクティブツールは、RLトレーニング中のフェイルセーフモードや分布シフトの早期検出にどのような役割を果たせるか？

主な発見

• Vizarelは、DDPGで学習されたHalfCheetahポリシーにおいて、高分散TD誤差を特定でき、これはクライアントの過大評価バイアスを示唆している。
• トラジェクトリービューポートにおけるインタラクティブなホバー機能と比較機能により、特定の行動シーケンスとTD誤差の急増を関連付けることが可能になった。
• リプレイバッファ空間における高TD誤差状態のクラスタリングにより、分布シフトや一般化の不十分さを示唆する持続的パターンが明らかになった。
• 分布ビューポートは、高分散の行動や報酬が見られる領域を特定するのを支援し、分散低減技術の適用機会を示した。
• 視覚的パターンとアルゴリズム的改善（例：過大評価を緩和するアルゴリズム）を結びつけることで、実行可能なインサイトを提供した。
• フレームワークは拡張可能であり、現在、サリエンシー図、リプレイバッファ内の検索、広範なRLツールチェーンへの統合の開発が進行中である。