[논문 리뷰] RLIF: Interactive Imitation Learning as Reinforcement Learning

Jianlan Luo, Perry Dong외 3명|arXiv (Cornell University)|2023. 11. 21.

Reinforcement Learning in Robotics인용 수 7

한 줄 요약

이 논문은 인간의 간섭 신호를 상호작용적 암시 학습에서 보상 신호로 간주하는 강화학습 프레임워크인 RLIF를 제안한다. 이는 하위최적의 전문가 행동을 초월해 성능을 향상시킬 수 있도록 한다. 전문가 시연 자료가 아닌 간섭 피드백을 학습함으로써, RLIF는 특히 전문가가 완벽하지 않은 경우 고차원 제어 과제에서 뛰어난 성능을 달성하며, 샘플 복잡도와 하위최적성 갭에 대한 이론적 보장을 제공한다.

ABSTRACT

Although reinforcement learning methods offer a powerful framework for automatic skill acquisition, for practical learning-based control problems in domains such as robotics, imitation learning often provides a more convenient and accessible alternative. In particular, an interactive imitation learning method such as DAgger, which queries a near-optimal expert to intervene online to collect correction data for addressing the distributional shift challenges that afflict naïve behavioral cloning, can enjoy good performance both in theory and practice without requiring manually specified reward functions and other components of full reinforcement learning methods. In this paper, we explore how off-policy reinforcement learning can enable improved performance under assumptions that are similar but potentially even more practical than those of interactive imitation learning. Our proposed method uses reinforcement learning with user intervention signals themselves as rewards. This relaxes the assumption that intervening experts in interactive imitation learning should be near-optimal and enables the algorithm to learn behaviors that improve over the potential suboptimal human expert. We also provide a unified framework to analyze our RL method and DAgger; for which we present the asymptotic analysis of the suboptimal gap for both methods as well as the non-asymptotic sample complexity bound of our method. We then evaluate our method on challenging high-dimensional continuous control simulation benchmarks as well as real-world robotic vision-based manipulation tasks. The results show that it strongly outperforms DAgger-like approaches across the different tasks, especially when the intervening experts are suboptimal. Code and videos can be found on the project website: https://rlif-page.github.io

연구 동기 및 목표

• 상호작용적 암시 학습의 한계를 해결하기 위해, 즉 near-optimal 전문가 간섭을 전제로 하며 전문가 성능을 초월할 수 없는 문제를 해결한다.
• 실제 상황에서의 가정과 유사하게 작동하는 강화학습을 가능하게 하여, 진정한 보상 함수가 필요로 하지 않는다는 점을 목표로 한다.
• RLIF와 DAgger를 분석할 수 있는 통합된 이론적 프레임워크를 정식화하며, 점점 더 최적화된 하위최적성 갭과 유한 샘플 복잡도 한계를 포함한다.
• 실증적으로 RLIF가 DAgger 유사 방법보다 뛰어나게 성능을 발휘함을 검증하며, 특히 전문가 간섭이 하위최적일 경우에 더욱 두드러진다.
• 간섭 전략과 전문가의 하위최적성 수준이 학습 성능에 미치는 영향을 조사한다.

제안 방법

• RLIF는 정책 롤아웃 중 인간의 간섭 결정을 암묵적인 보상 신호로 간주하며, 간섭을 유발하는 행동에 음수 보상을 할당한다.
• 이 방법은 오프-폴리시 강화학습을 사용하여 간섭 빈도를 최소화하는 정책을 최적화함으로써, 수정이 필요한 행동을 피하는 방식으로 학습한다.
• 간섭 발생 가능성을 코딩하는 보상 함수 $ \tilde{r}_{\delta}(s,a) $ 를 도입하며, $ \delta $ 는 간섭 탐지 민감도를 조절한다.
• 이론적 분석을 통해 RLIF의 샘플 복잡도가 $ \widetilde{O}\left(\frac{SC^{\star}_{\mathrm{exp}}}{(1-\gamma)^3\epsilon^2}\right) $ 로 유계임을 입증하며, 진정한 보상이 있는 표준 강화학습과 유사한 수준이다.
• RLIF와 DAgger를 비교할 수 있는 통합 프레임워크를 개발하여, 동일한 가정 하에 점점 더 최적화된 하위최적성 갭의 점근적 분석을 가능하게 한다.
• 이 방법은 연속 제어 벤치마크와 실제 로봇의 시각 기반 조작 과제에서 평가되었으며, 하위최적의 간섭을 포함한 인간-중심 데이터를 사용하였다.

실험 결과

연구 질문

• RQ1 전문가 간섭이 최적적이지 않은 경우에도, 간섭 데이터를 기반으로 한 보상 신호를 사용하여 강화학습을 효과적으로 적용할 수 있는가?
• RQ2 RLIF의 성능는 전문가의 하위최적성과 간섭 전략에 따라 어떻게 달라지는가?
• RQ3 간섭 피드백을 보상 신호로 사용하여 $ \epsilon $-최적 정책을 학습할 경우의 이론적 샘플 복잡도는 무엇인가?
• RQ4 유사한 가정 하에서 RLIF의 점근적 하위최적성 갭은 DAgger와 비교해 어떻게 되는가?
• RQ5 전문가 시연이 하위최적일 경우에도 RLIF는 고차원적, 시각 기반 로봇 제어 과제에 일반화될 수 있는가?

주요 결과

• RLIF는 고차원 연속 제어 시뮬레이션과 실제 로봇 조작 과제에서 DAgger 유사 방법보다 뛰어난 성능을 보이며, 특히 전문가 간섭이 하위최적일 경우에 더욱 두드러진다.
• 이 방법은 샘플 복잡도 한계 $ \widetilde{O}\left(\frac{SC^{\star}_{\mathrm{exp}}}{(1-\gamma)^3\epsilon^2}\right) $ 를 달성하며, 진정한 보상이 있는 표준 강화학습과 이론적 샘플 복잡도가 일치한다.
• 실증적 아블레이션 결과는 성능가 간섭 모델과 전문가의 하위최적성에 민감함을 확인하며, 이론적 근거를 뒷받침한다.
• RLIF의 점근적 하위최적성 갭은 에피소드 길이에 비례하는 선형 관계를 가지며, DAgger와 유사하지만 보상 최적화 덕분에 더 나은 상수 요소를 가진다.
• RLIF는 간섭을 유발하는 상황을 피하는 방식으로 학습하게 하여, 단지 수정 행동을 모방하는 것 이상의 더 견고하고 일반화 가능한 행동을 가능하게 한다.
• 이론적 분석을 통해 $ \left|\Pi^{\mathrm{opt}}_{\delta}\right| $, 즉 간섭 보상 하에서 최적 정책 집합의 지름은 $ \delta $ 에 대해 단조 감소함을 입증하며, 더 나은 간섭 탐지로 정책 향상이 일관되게 이루어짐을 시사한다.