[논문 리뷰] Fighting Failures with FIRE: Failure Identification to Reduce Expert Burden in Intervention-Based Learning

Trevor Ablett, Filip Marić외 1명|arXiv (Cornell University)|2020. 07. 01.

Reinforcement Learning in Robotics참고 문헌 34인용 수 7

한 줄 요약

FIRE (실패 식별을 통한 전문가 부담 감소)는 실행 중 정책 실패를 예측하기 위해 판별기(discriminator)를 사용하는 방법으로, 필요할 때만 전문가의 즉각적인 간섭을 가능하게 한다. 전문가 데이터와 비전문가 데이터 양쪽에서 학습함으로써, 역강화 학습에 비해 샘플 효율성에서 수십 배 향상되고, 동일한 데이터로 행동 코딩보다 뛰어난 성능을 달성한다.

ABSTRACT

Supervised imitation learning, also known as behavioral cloning, suffers from distribution drift leading to failures during policy execution. One approach to mitigate this issue is to allow an expert to correct the agent's actions during task execution, based on the expert's determination that the agent has reached a `point of no return.' The agent's policy is then retrained using this new corrective data. This approach alone can enable high-performance agents to be learned, but at a substantial cost: the expert must vigilantly observe execution until the policy reaches a specified level of success, and even at that point, there is no guarantee that the policy will always succeed. To address these limitations, we present FIRE (Failure Identification to Reduce Expert Burden in intervention-based learning), a system that can predict when a running policy will fail, halt its execution, and request a correction from the expert. Unlike existing approaches that learn only from expert data, our approach learns from both expert and non-expert data, akin to adversarial learning. We demonstrate experimentally for a series of challenging manipulation tasks that our method is able to recognize state-action pairs that lead to failures. This permits seamless integration into an intervention-based learning system, where we show an order-of-magnitude gain in sample efficiency compared with a state-of-the-art inverse reinforcement learning method and dramatically improved performance over an equivalent amount of data learned with behavioral cloning.

연구 동기 및 목표

• 전문가가 정책 실행을 지속적으로 모니터링해야 하는 간섭 기반 모방 학습에서의 높은 전문가 부담을 해결한다.
• 실행이 진행되기 전에 정책이 실패할 가능성이 있는지를 예측하여 실패 비율을 낮추고 정책의 강건성을 향상시킨다.
• 지능적인 실패 예측을 통해 불필요한 전문가 간섭을 최소화함으로써 더 효율적인 학습을 가능하게 한다.
• 전문가 수정과 자가 향상 정책을 결합한 폐쇄형 루프 학습 프레임워크에 실패 예측을 통합한다.
• 전문가 데이터와 비전문가 데이터 양쪽에서 학습하는 것—적대적 학습과 유사하게—이상화 및 조기 실패 탐지 능력을 향상시킨다.

제안 방법

• 정책 롤아웃 중에 수집한 전문가 상태-행동 쌍과 비전문가(실패 기작이 있는) 쌍을 구분하기 위해 판별기 $D$ 를 훈련한다.
• 판별기의 출력을 실패 예측기로 사용한다: $D(s,a) > \beta$ 이면 시스템이 실패를 예측하고 실행을 중단한다.
• 연속된 비전문가 쌍의 수를 제어하기 위해 조정 가능한 임계값 $\beta$ 를 도입한다.
• 실패가 예측될 경우에만 인간 전문가가 간섭하여 수정된 원격 조작 데이터를 제공하고 정책을 재훈련한다.
• 원래의 전문가 예시와 간섭으로부터 수집된 신규 전문가 수정 데이터를 주기적으로 사용하여 정책을 재훈련한다.
• 적대적 훈련 목표를 활용해 실패 탐지 능력을 향상시키며, 기울기 페널티를 통해 과적합을 방지한다.

실험 결과

연구 질문

• RQ1 전문가 및 비전문가 데이터를 기반으로 훈련된 판별기가 실패가 발생하기 전에 정책 실패를 효과적으로 예측할 수 있는가?
• RQ2 실패 예측을 간섭 기반 학습에 통합할 경우, 지속적인 관찰 대비 전문가의 모니터링 시간이 줄어드는가?
• RQ3 FIRE의 샘플 효율성은 조작 작업에서 최신 기술의 역강화 학습 방법과 비교해 어떻게 되는가?
• RQ4 전문가 및 비전문가 데이터 양쪽에서 학습하는 것이 행동 코딩에 비해 실패 탐지 능력과 정책 성능을 얼마나 향상시키는가?
• RQ5 FIRE의 성능은 실패 예측 임계값 $\beta$ 의 선택에 얼마나 민감한가?

주요 결과

• FIRE는 어려운 조작 작업에서 최신 기술의 역강화 학습 방법에 비해 샘플 효율성에서 수십 배 향상된 성과를 달성한다.
• 동일한 양의 전문가 데이터를 사용할 때, FIRE로 훈련된 정책는 행동 코딩으로 훈련된 정책보다 더 뛰어난 최종 성능을 보인다.
• PushingXY, PickAndPlaceXY, PickAndPlace6Dof 환경에서는 각각 실패 예측 임계값 $\beta \geq 30$, $\beta \geq 35$, $\beta \geq 50$ 가 성공적으로 실패를 반 이상의 비율로 예측하는 데에 충분했다.
• 시스템은 전문가 피드백에 따라 $\beta$ 를 동적으로 조정하여, 필요할 때만 간섭이 발생하고 거짓 긍정을 최소화한다.
• 재훈련 시 이전에 훈련된 정책에서 시작하는 것(워밍스타트)은 초기화부터 재훈련하는 것보다 더 뛰어난 성능을 보였으며, 이는 전문가 수정이 기존 정책 오류와 일치할 때 가장 효과적임을 시사한다.
• 간단한 임계값 규칙을 사용할 때 판별기의 출력은 최소한의 초모수 조정으로도 신뢰할 수 있고 해석 가능한 실패 예측 신호를 제공한다.