[논문 리뷰] Chain of Thought Imitation with Procedure Cloning

Mengjiao Yang, Dale Schuurmans외 2명|arXiv (Cornell University)|2022. 05. 22.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 행동 복제를 확장한 절차 클로닝(Procedure Cloning, PC)을 제안한다. PC는 상태-행동 쌍 외에도 전문가가 행동을 생성할 때 사용하는 중간 추론 단계(예: 탐색 경로, 계획 순서)를 모방함으로써 행동 복제의 한계를 극복한다. 트랜스포머 기반 아키텍처를 사용해 이러한 절차를 자동회귀 시퀀스로 모델링함으로써, 특히 전문가의 계획이 포함된 탐색, 로봇 조작, 게임 플레이 작업에서 기존 행동 복제보다 훨씬 뛰어난 일반화 성능을 달성한다.

ABSTRACT

Imitation learning aims to extract high-performance policies from logged demonstrations of expert behavior. It is common to frame imitation learning as a supervised learning problem in which one fits a function approximator to the input-output mapping exhibited by the logged demonstrations (input observations to output actions). While the framing of imitation learning as a supervised input-output learning problem allows for applicability in a wide variety of settings, it is also an overly simplistic view of the problem in situations where the expert demonstrations provide much richer insight into expert behavior. For example, applications such as path navigation, robot manipulation, and strategy games acquire expert demonstrations via planning, search, or some other multi-step algorithm, revealing not just the output action to be imitated but also the procedure for how to determine this action. While these intermediate computations may use tools not available to the agent during inference (e.g., environment simulators), they are nevertheless informative as a way to explain an expert's mapping of state to actions. To properly leverage expert procedure information without relying on the privileged tools the expert may have used to perform the procedure, we propose procedure cloning, which applies supervised sequence prediction to imitate the series of expert computations. This way, procedure cloning learns not only what to do (i.e., the output action), but how and why to do it (i.e., the procedure). Through empirical analysis on navigation, simulated robotic manipulation, and game-playing environments, we show that imitating the intermediate computations of an expert's behavior enables procedure cloning to learn policies exhibiting significant generalization to unseen environment configurations, including those configurations for which running the expert's procedure directly is infeasible.

연구 동기 및 목표

• 기존 행동 학습의 한계를 해결하기 위해, 상태-행동 쌍 외에 전문가의 중간 추론 과정을 간과하는 문제를 해결한다.
• 전문가의 계산 전체 시퀀스(예: 탐색 경로, 계획 단계 등)를 활용하면 행동 복제를 넘어서 정책의 일반화 성능을 향상시킬 수 있는지 탐색한다.
• 에이전트가 무엇을 해야 할지가 아니라 어떻게, 그리고 왜 해야 할지에 대해 전문가의 절차적 추론을 모방함으로써 학습할 수 있는 방법을 개발한다.
• 전문가의 특수 도구(예: 시뮬레이터)가 추론 시에 이용 가능하지 않은 새로운 환경에 대한 일반화를 가능하게 한다.
• 전문가 절차를 자동회귀 시퀀스로 모델링하면 복잡한 의사결정 과제에서 더 뛰어난 내성성과 성능 향상이 이루어지는지 입증한다.

제안 방법

• 절차 클로닝은 전문가의 중간 계산을 관측치와 행동의 시퀀스로 간주하여, 이를 감독적 시퀀스 예측 문제로 모델링한다.
• 자기회귀 트랜스포머 유사 아키텍처를 사용해 입력 상태에서부터 절차 출력(예: MCTS 트리 노드, BFS 경로)의 단계별 예측을 수행한다.
• 절차 관측치와 전문가 행동의 결합 분포의 가능도를 최대화하도록 훈련함으로써 추론 과정의 엔드 투 엔드 학습이 가능하다.
• 추론 시, 정책은 최종 행동을 출력하기 전에 중간 절차 결과를 자기회귀적으로 생성하며, 시뮬레이터와 같은 특수 도구에 의존하지 않는다.
• MinAtar와 같은 작업에서는 목표에서 시작점으로 거꾸로 최적의 미래 경로를 인코딩하여 절차 관측치로 사용함으로써, 모델이 행동을 역방향으로 예측하도록 훈련한다.
• 부분적 지도 학습을 지원하여, 예: MCTS 리프 노드와 같은 불완전하거나 희소한 계산 상태도 훈련 신호로 활용할 수 있다.

실험 결과

연구 질문

• RQ1 전문가 정책의 중간 추론 단계를 모방하면 행동 복제를 넘어서 일반화 성능이 향상되는가?
• RQ2 전문가 절차를 자동회귀 시퀀스로 모델링하면 새로운 환경에서 성능 향상이 얼마나 이루어지는가?
• RQ3 환경 변화(예: 새로운 미로 레이아웃, 게임 난이도 상승)에 대해 절차 클로닝은 행동 복제보다 얼마나 더 내성적인가?
• RQ4 전문가의 계획 도구(예: 시뮬레이터)가 추론 시에 이용 가능하지 않은 환경에서도 절차 클로닝은 일반화가 가능한가?
• RQ5 구조적이고 순차적인 지도 신호(예: 탐색 경로, MCTS 롤아웃)를 사용할 경우 정책 성능과 일반화에 어떤 영향을 미치는가?

주요 결과

• MinAtar 게임에서 절차 클로닝은 스틱키 액션을 포함한 확률적 조건에서도 행동 복제보다 유의미하게 높은 평균 에피소드 보상치를 달성했다.
• 게임 난이도를 점차 높이는 설정에서, PC는 MinAtar의 다섯 게임 전부에서 BC를 압도하며 더 어려운 설정에서도 뛰어난 일반화 성능을 보였다.
• AntMaze 탐색 작업에서 PC 정책는 훈련 중에 볼 수 없었던 새로운 미로 레이아웃에도 효과적으로 일반화되었다. 이는 전문가가 계획 시 시뮬레이터를 사용했음에도 불구하고 성립한다.
• 전문가의 원래 계획 절차(예: MCTS)를 실행할 수 없는 환경(예: 시뮬레이터 접근 불가)에서도 이 방법은 일반화 성능을 유지했다.
• 실험 결과는 PC가 전문가 절차를 자동회귀적으로 모델링함으로써, 전문가의 절차가 특수 도구에 의존하더라도 행동 복제보다 더 뛰어난 일반화 성능을 달성함을 보여준다.
• PC의 성공은 전문가의 추론 단계를 시퀀스로 모델링하는 것이 복잡하고 구조화된 의사결정 과제에서 행동 학습을 향상시키는 스케일러블하고 효과적인 접근법이 될 수 있음을 시사한다.