[논문 리뷰] Off-Dynamics Reinforcement Learning: Training for Transfer with Domain Classifiers

Benjamin Eysenbach, Swapnil Asawa외 3명|arXiv (Cornell University)|2020. 06. 24.

Viral Infectious Diseases and Gene Expression in Insects인용 수 15

한 줄 요약

이 논문은 DARC(Domain Adaptation with Rewards from Classifiers)를 제안하며, 분류기를 사용해 소스 도메인과 타겟 도메인 전이를 구분함으로써 보상 함수를 수정함으로써 강화학습에서 정책 전이를 향상시키는 방법을 제시한다. 소스 유사 동역학을 방지함으로써, 더 안전한 소스 도메인에서 훈련된 정책이 다이내믹스가 다른 타겟 도메인으로 효과적으로 일반화되도록 하며, 약간의 가정 하에 이론적 보장과 함께 거의 최적의 성능을 달성한다.

ABSTRACT

We propose a simple, practical, and intuitive approach for domain adaptation in reinforcement learning. Our approach stems from the idea that the agent's experience in the source domain should look similar to its experience in the target domain. Building off of a probabilistic view of RL, we formally show that we can achieve this goal by compensating for the difference in dynamics by modifying the reward function. This modified reward function is simple to estimate by learning auxiliary classifiers that distinguish source-domain transitions from target-domain transitions. Intuitively, the modified reward function penalizes the agent for visiting states and taking actions in the source domain which are not possible in the target domain. Said another way, the agent is penalized for transitions that would indicate that the agent is interacting with the source domain, rather than the target domain. Our approach is applicable to domains with continuous states and actions and does not require learning an explicit model of the dynamics. On discrete and continuous control tasks, we illustrate the mechanics of our approach and demonstrate its scalability to high-dimensional tasks.

연구 동기 및 목표

• 소스 도메인(예: 시뮬레이터)에서 타겟 도메인으로의 정책 전이 문제를 해결하기 위해, 타겟 도메인에서 직접 훈련하는 것이 비용이 많이 들거나 안전하지 않은 상황에서의 도메인 전이에 대비한다.
• 전이 확률을 모델링하지 않고도 다이내믹스 차이를 보완할 수 있는 방법을 개발하여 고차원 제어 작업에서의 확장 가능한 전이를 가능하게 한다.
• 가벼운 가정 하에 이론적으로 타당한 접근을 제공하여, 타겟 도메인에서 거의 최적의 성능을 보장한다.
• 학습된 분류기를 통한 보상 수정이 명시적인 보상 형태 조정 없이도 안전하고 효과적인 행동을 암묵적으로 학습시킬 수 있는지 검증한다.

제안 방법

• 소스 도메인과 타겟 도메인의 전이를 구분하기 위해 두 개의 이진 분류기를 사용하며, 상태-행동-다음 상태 튜플에 기반해 훈련된다.
• 이 분류기들이 추정한 밀도 비율의 로그값을 사용해 보상 함수를 수정하며, 소스 도메인의 동역학과 유사한 전이를 방지한다.
• 수정된 보상 함수는 기대 수익에 대한 변분 하한식에서 유도되며, 소스 도메인과 타겟 도메인의 정책 간의 일치를 보장한다.
• 이 방법은 동역학이나 전이 확률을 명시적으로 모델링할 필요가 없어 고차원 연속 제어 작업에 대해 확장 가능하다.
• 이 방법은 소스 도메인에서의 훈련 중에 적용되며, 타겟 도메인으로의 일반화 성능이 우수한 정책을 생성하는 것을 목표로 한다.
• 분류기는 상태와 행동에 조건을 두며, 이는 주어진 상태 분포가 유사할 경우 동역학 차이를 식별하는 데 핵심적이다.

실험 결과

연구 질문

• RQ1 학습된 분류기를 기반으로 소스 대비 타겟 전이를 구분하여 보상 함수를 수정함으로써 강화학습에서 효과적인 도메인 적응을 달성할 수 있는가?
• RQ2 분류기 기반의 밀도 비율 추정을 통한 보상 수정이 어떤 조건에서 타겟 도메인에서 거의 최적의 정책을 도출하는가?
• RQ3 행동 조건화가 없는 접근 방식에 비해 상태와 행동에 모두 조건을 두는 분류기 조건화가 동역학 적응에서 성능을 어떻게 향상시키는가?
• RQ4 이 방법은 동역학 모델링 없이도 고차원 연속 제어 작업에 일반화 가능한가?
• RQ5 명시적인 안전 보상 없이도 이 방법이 암묵적으로 안전한 행동을 학습하는가?

주요 결과

• DARC는 다이내믹스가 다른 타겟 도메인으로 정책을 성공적으로 전이하여 이산 및 연속 제어 작업 모두에서 거의 최적의 성능을 달성한다.
• 111차원의 Ant 작업에서 DARC는 동역학 모델 추정이 필요 없이 효과적으로 확장되었으며, 샘플 효율성과 안정성 측면에서 모델 기반 기준선보다 뛰어난 성능을 보였다.
• 행동 효과가 반전된 격자 환경에서 DARC는 80%의 시도에서 성공했고, 행동 조건화가 없는 MATL은 100% 실패했다.
• 이 방법은 타겟 도메인에서 에피소드 종료를 유도할 수 있는 소스 도메인의 위험 행동을 피할 수 있도록 도와주었으며, 명시적인 보상 형태 조정 없이도 잠재적인 안전성 향상이 발생했다고 보여준다.
• 실험 결과 DARC는 MATL 및 표준 강화학습 기준선을 포함한 모든 평가된 작업에서 슈퍼어리어를 기록했으며, 확률적 정책과 미세한 다이내믹스 이질성 존재 시에도 유사한 성능을 보였다.
• 이론적 분석은 가벼운 가정 하에 DARC가 타겟 도메인에서 거의 최적의 성능을 보이는 정책을 도출함을 보장한다.