[논문 리뷰] Rewriting History with Inverse RL: Hindsight Inference for Policy Improvement

Benjamin Eysenbach, Xinyang Geng외 2명|arXiv (Cornell University)|2020. 02. 25.

Reinforcement Learning in Robotics참고 문헌 46인용 수 30

한 줄 요약

이 논문은 hindsight relabeling이 inverse reinforcement learning임을 보여주고, past experience를 inverse RL로 재라벨링하여 여러 작업에 걸친 학습을 가속하는 HIPI 프레임워크를 제안한다. 이는 off-policy RL(HIPI-RL) 또는 behavior cloning(HIPI-BC)을 통해 가능하다.

ABSTRACT

Multi-task reinforcement learning (RL) aims to simultaneously learn policies for solving many tasks. Several prior works have found that relabeling past experience with different reward functions can improve sample efficiency. Relabeling methods typically ask: if, in hindsight, we assume that our experience was optimal for some task, for what task was it optimal? In this paper, we show that hindsight relabeling is inverse RL, an observation that suggests that we can use inverse RL in tandem for RL algorithms to efficiently solve many tasks. We use this idea to generalize goal-relabeling techniques from prior work to arbitrary classes of tasks. Our experiments confirm that relabeling data using inverse RL accelerates learning in general multi-task settings, including goal-reaching, domains with discrete sets of rewards, and those with linear reward functions.

연구 동기 및 목표

• 임의로 정의된 작업들 간에 과거 경험의 재사용을 통해 다중 작업 RL의 샘플 효율성을 개선하는 것을 목표로 한다.
• 회고적 재라벨링을 inverse RL로 형식화하고 최대 엔트로피(MaxEnt) RL과 최대 엔트로피 역 RL을 쌍의 문제로 연결한다.
• 전략을 재라벨링하고 이를 활용해 작업군 전반의 정책 학습에 활용하는 실용적인 HIPI 알고리즘을 개발한다.
• 목표 달성 및 일반적인 보상 구조를 포함한 이산 보상 및 선형 보상 작업에의 적용 가능성을 보여준다.

제안 방법

• 재라벨링을 MaxEnt inverse RL 포스터리어 p(ψ|τ)을 계산하는 프레임으로 정의하고 이를 통해 트래젝토리를 재라벨링한다.
• 최적의 재라벨링 분포 q(ψ|τ) ∝ p(ψ) exp(Σt rψ(st,at) − log Z(ψ))임을 도출한다.
• MaxEnt RL과 MaxEnt inverse RL이 각각 트락젝토리 또는 작업에 대해 동일한 다중 작업 목표를 최적화함을 보인다.
• rψ가 최종 상태가 ψ와 다르면 무한대이고 그렇지 않으면 0인 degenerate inverse RL 사례로 목표 재라벨링을 특수화한다.
• 두 가지 HIPI 변형을 도입한다: HIPI-RL(역 RL 재라벨링 + off-policy RL) 및 HIPI-BC(역 RL 재라벨링 + 작업-조건부 행동 복제).
• 알고리즘적 세부사항에는 분할 함수 Z(ψ)의 계산 및 트래젝토리 데이터에 조건화된 ψ의 소프트맥스 샘플링을 포함한다.

실험 결과

연구 질문

• RQ1 inverse RL 기반 재라벨링이 목표 달성 작업 외의 광범위한 다중 작업 RL 문제에 대해 샘플 효율성을 향상시킬 수 있는가?
• RQ2 역 RL로 재라벨링하는 것이 선행 재라벨링 전략(HER 등)과 비교하여 보상 스케일이 다른 이산/선형 보상 분포를 포함한 다양한 작업 분포에서 어떤 차이를 보이는가?
• RQ3 역 RL 재라벨링과 off-policy RL 또는 행동 복제를 결합하면 복잡한 로봇 이동 및 조작 작업의 학습 속도를 신뢰성 있게 가속할 수 있는가?
• RQ4 다양한 보상 규모를 갖는 작업에서 재라벨링의 안정화를 돕는 분할 함수 Z(ψ)의 역할은 무엇인가?

주요 결과

• 역 RL로 재라벨링하면 목표 달성, 이산 보상, 선형 보상 작업 전반에 걸쳐 학습 속도가 빨라진다.
• 두 가지 실용적 HIPI 변형(HIPI-RL 및 HIPI-BC)이 여러 시뮬레이션 로봇 도메인에서 기준값을 능가한다.
• 분할 함수 정규화의 중요성은 결정적이다; 정규화가 없으면 재라벨링이 더 쉬운 작업으로 트래젝토리를 잘못 할당하여 학습을 방해할 수 있다.
• 재라벨링은 광범위한 작업 분포, 일반 보상 구조를 포함한 범위에서 수렴적 성능 및 샘플 효율성을 개선한다.
• 목표 재라벨링은 역 RL의 특수한 사례로, 목표 외의 임의의 작업군으로 확장 가능하게 한다.