[논문 리뷰] Off-Policy Adversarial Inverse Reinforcement Learning

Samin Yeasar Arnob|arXiv (Cornell University)|2020. 05. 03.

Reinforcement Learning in Robotics참고 문헌 21인용 수 4

한 줄 요약

이 논문은 연속 제어 작업에서 샘플 효율성과 모의 성능을 향상시키기 위해 소프트 액터-크리틱(SAC)과 디세이너 기반의 적대적 프레임워크를 조합한 오프-폴리시 적대적 역강화학습(Off-Policy-AIRL)을 제안한다. 이 방법은 전문가 지시가 없는 상황에서도 학습된 보상 함수를 활용한 효과적인 전이 학습을 가능하게 하며, 최신의 AIL 알고리즘보다 뛰어난 모의 성능을 달성한다.

ABSTRACT

Adversarial Imitation Learning (AIL) is a class of algorithms in Reinforcement learning (RL), which tries to imitate an expert without taking any reward from the environment and does not provide expert behavior directly to the policy training. Rather, an agent learns a policy distribution that minimizes the difference from expert behavior in an adversarial setting. Adversarial Inverse Reinforcement Learning (AIRL) leverages the idea of AIL, integrates a reward function approximation along with learning the policy, and shows the utility of IRL in the transfer learning setting. But the reward function approximator that enables transfer learning does not perform well in imitation tasks. We propose an Off-Policy Adversarial Inverse Reinforcement Learning (Off-policy-AIRL) algorithm which is sample efficient as well as gives good imitation performance compared to the state-of-the-art AIL algorithm in the continuous control tasks. For the same reward function approximator, we show the utility of learning our algorithm over AIL by using the learned reward function to retrain the policy over a task under significant variation where expert demonstrations are absent.

연구 동기 및 목표

• 강력한 전이 학습 능력에도 불구하고 기존의 적대적 역강화학습(AIRL) 알고리즘의 열악한 모의 성능 문제를 해결한다.
• 오프-폴리시 딥 강화학습 알고리즘을 활용해 연속 제어 작업에서 샘플 효율성과 모의 성능을 향상시킨다.
• 전문가 지시가 제공되지 않은 전이 학습 시나리오에서 학습된 보상 함수를 활용한 정책 재학습의 유용성을 입증한다.
• 정책 아키텍처와 보상 함수 설계가 모의 및 전이 학습 성능에 미치는 영향을 탐구한다.
• 다중성 조합 정책(MCP)이 전이 학습 기간 동안 민첩성과 성능 향상에 기여하는 역할을 어떻게 수행하는지 조사한다.

제안 방법

• 샘플 효율성을 향상시키고 오프-폴리시 학습을 가능하게 하기 위해 생성기(정책)로 소프트 액터-크리틱(SAC)을 채택한다.
• 전문가 경로와 생성된 경로를 구분하는 디세이너 네트워크를 통합하여 적대적 학습 목표를 형성한다.
• 엔트로피 정규화 없이 상태에 의존하는 보상 함수를 학습하며, 제안된 프레임워크에서 경험적으로 가장 우수한 성능을 보인다.
• 모의 및 전이 학습 모두에 동일한 보상 함수 근사기 사용을 통해 작업 간 일관성을 확보한다.
• 전이 학습 중에 게이팅 함수만 업데이트함으로써 민감한 정책 재학습을 가능하게 하기 위해 다중성 조합 정책(MCP)을 적용한다.
• 전이 학습 기간 동안 무작위 상태 초기화를 구현하여 탐색 능력을 향상시키고 성능 변동성을 감소시킨다.

실험 결과

연구 질문

• RQ1 SAC과 같은 오프-폴리시 딥 강화학습 방법이 온-폴리시 기준선 대비 적대적 역강화학습에서 모의 성능 향상에 기여하는가?
• RQ2 모의에서 잘 작동하는 동일한 보상 함수 근사기가 전문가 지시가 없는 상황에서도 효과적인 전이 학습을 가능하게 하는가?
• RQ3 다중성 조합 정책(MCP)이 전체 재학습 없이도 전이 학습 중 정책의 민감성과 성능 향상에 기여하는가?
• RQ4 전이 학습 중에 무작위 상태 초기화가 오프-폴리시-AIRL의 성능과 변동성에 어떤 영향을 미치는가?
• RQ5 에이전트의 역학이 변경될 경우(예: Ant에서 다리 마비) 이 방법이 실패하는 이유는 무엇이며, 이러한 실패에 영향을 미치는 에이전트의 구조적 특성은 무엇인가?

주요 결과

• SAC을 생성기로 사용한 오프-폴리시-AIRL은 HalfCheetah-v2 및 Ant-v2와 같은 MuJoCo 연속 제어 환경에서 최신 AIL 알고리즘보다 뛰어난 모의 성능을 달성한다.
• 엔트로피 정규화 없이 단순한 상태에 의존하는 보상 네트워크가 테스트된 보상 함수 구성 중에서 가장 우수한 성능을 보였다.
• 학습된 보상 함수는 전문가 지시가 없는 전이 학습 작업에서 성공적인 정책 재학습을 가능하게 하여, 모의를 넘어서는 유용성을 입증한다.
• SAC-MCP는 특히 게이팅 함수만 미세조정하는 경우 기존의 SAC보다 모의 성능을 향상시키고 전이 학습에서 성능 변동성을 감소시킨다.
• 전이 학습 중에 무작위 상태 초기화를 적용함으로써 탐색 능력이 향상되고 성능 변동성이 감소하여 더 안정적이고 높은 성능의 정책을 도출할 수 있었다.
• 에이전트의 역학이 변경될 경우(예: Ant에서 다리 마비) 일반화에 실패하는 것으로 나타나, 에이전트의 구조적 특성이 전이 가능성에 상당한 영향을 미친다.