[論文レビュー] Chain of Thought Imitation with Procedure Cloning

Mengjiao Yang, Dale Schuurmans+2 more|arXiv (Cornell University)|May 22, 2022

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

本稿では、行動コーディングを拡張する手順クローン（PC）を提案する。PCは、状態-行動ペアに加えて、専門家が行動を生成するために用いる中間的推論手順（例：探索経路、計画シーケンス）を模倣することで、行動コーディングの限界を克服する。トランスフォーマーに基づくアーキテクチャを用いてこれらの手順を自己回帰的シーケンスとしてモデル化することで、特にナビゲーション、ロボット操作、ゲームプレイタスクにおいて、専門家の計画プロセスが関与する状況で、標準的な行動コーディングよりも顕著に優れた一般化性能を達成する。

ABSTRACT

Imitation learning aims to extract high-performance policies from logged demonstrations of expert behavior. It is common to frame imitation learning as a supervised learning problem in which one fits a function approximator to the input-output mapping exhibited by the logged demonstrations (input observations to output actions). While the framing of imitation learning as a supervised input-output learning problem allows for applicability in a wide variety of settings, it is also an overly simplistic view of the problem in situations where the expert demonstrations provide much richer insight into expert behavior. For example, applications such as path navigation, robot manipulation, and strategy games acquire expert demonstrations via planning, search, or some other multi-step algorithm, revealing not just the output action to be imitated but also the procedure for how to determine this action. While these intermediate computations may use tools not available to the agent during inference (e.g., environment simulators), they are nevertheless informative as a way to explain an expert's mapping of state to actions. To properly leverage expert procedure information without relying on the privileged tools the expert may have used to perform the procedure, we propose procedure cloning, which applies supervised sequence prediction to imitate the series of expert computations. This way, procedure cloning learns not only what to do (i.e., the output action), but how and why to do it (i.e., the procedure). Through empirical analysis on navigation, simulated robotic manipulation, and game-playing environments, we show that imitating the intermediate computations of an expert's behavior enables procedure cloning to learn policies exhibiting significant generalization to unseen environment configurations, including those configurations for which running the expert's procedure directly is infeasible.

研究の動機と目的

• 従来の模倣学習の限界、すなわち状態-行動ペアのみを用い、専門家の中間的推論プロセスを無視する点を是正すること。
• 探索計算の全シーケンス（例：探索経路、計画ステップ）を活用することで、行動コーディングを越えてポリシーの一般化を向上させられるかどうかを調査すること。
• 専門家の手順的推論を模倣することで、エージェントが「何をやるか」だけでなく「どのように」「なぜ」やるのかを学習できるようにする手法を開発すること。
• 推論時に専門家の特権的なツール（例：シミュレータ）が利用できない未確認環境への一般化を可能にすること。
• 専門家の手順を自己回帰的シーケンスとしてモデル化することで、複雑な意思決定タスクにおけるロバストネスとパフォーマンスが向上することを実証すること。

提案手法

• 手順クローンは、専門家の中間的計算を観測と行動のシーケンスとしてモデル化し、これを教師ありシーケンス予測問題として扱う。
• 自己回帰的トランスフォーマー型アーキテクチャを用いて、入力状態から段階的に手順出力（例：MCTS木のノード、BFS経路）を予測する。
• 手順観測と専門家の行動の同時分布の尤度を最大化するように学習することで、推論プロセス全体のエンドツーエンド学習を可能にする。
• 推論時、ポリシーは最終行動を出力する前に、中間的手順結果を自己回帰的に生成するが、シミュレータなどの特権的ツールに依存しない。
• MinAtarのようなタスクでは、最適な未来の軌道をゴールから開始へ逆方向に符号化することで、手順観測として用い、モデルが逆方向に行動を予測できるように学習する。
• 不完全または疎な計算状態（例：MCTSの葉ノード）を訓練信号として使用できるように、部分的監視をサポートする。

実験結果

リサーチクエスチョン

• RQ1 専門家のポリシーの途中推論ステップを模倣することで、標準的な行動コーディングを越えて模倣学習の一般化性能が向上するか？
• RQ2 専門家の手順を自己回帰的シーケンスとしてモデル化することで、未確認環境におけるパフォーマンスがどの程度向上するか？
• RQ3 環境の変化（例：新しい迷路レイアウト、ゲーム難易度）に対して、手順クローンは行動コーディングと比べてどの程度ロバストか？
• RQ4 推論時に専門家の計画ツール（例：シミュレータ）が利用できない状況でも、手順クローンは一般化できるか？
• RQ5 構造的で順序的な監視（例：探索経路、MCTSのロールアウト）を用いることで、ポリシーのパフォーマンスと一般化性能にどのような影響を与えるか？

主な発見

• MinAtarゲームにおいて、PCは行動コーディングよりも顕著に高い平均エピソード報酬を達成した。特にストキャスティックな状況（スティッキー行動あり）で顕著だった。
• ゲーム難易度の上昇設定では、PCは5つのMinAtarゲームすべてでBCを上回り、より難しい設定への一般化性能が優れていることを示した。
• AntMazeナビゲーションタスクでは、トレーニング時に見なかった新しい迷路レイアウトに対しても、PCポリシーが効果的に一般化した。専門家が計画にシミュレータを使用していた場合でも同様だった。
• シミュレータへのアクセスがなく、専門家の元の計画手順（例：MCTS）を実行することが不可能な環境に対しても、PCは一般化できた。
• 実験結果から、PCの専門家の手順の自己回帰的モデリングが、専門家の手順に特権的ツールが関与しても、BCよりも優れた一般化性能をもたらすことが示された。
• PCの成功は、専門家の推論手順をシーケンスとしてモデリングすることが、複雑で構造的な意思決定タスクにおける模倣学習のスケーラブルで効果的なアプローチである可能性を示唆している。