[논문 리뷰] When to Ask for Help: Proactive Interventions in Autonomous Reinforcement Learning

Annie Xie, Fahim Tajwar외 2명|arXiv (Cornell University)|2022. 10. 19.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 자율 강화학습에서 인간 모니터링을 줄이기 위해 불가역 상태를 탐지하고 피하는 법을 학습하는 프로액티브 간섭 프레임워크인 PAINT을 제안한다. 필요할 때만 레이블 효율적인 이진 탐색을 사용해 불가역성 레이블을 쿼리하고, 이를 불가역 상태를 예측하는 분류기와 조합함으로써 PAINT는 연속 제어 과제에서 높은 샘플 및 간섭 효율을 유지하면서도 간섭 횟수를 최대 15배 줄였다—300만 단계 동안 약 100회의 간섭만 필요로 했다.

ABSTRACT

A long-term goal of reinforcement learning is to design agents that can autonomously interact and learn in the world. A critical challenge to such autonomy is the presence of irreversible states which require external assistance to recover from, such as when a robot arm has pushed an object off of a table. While standard agents require constant monitoring to decide when to intervene, we aim to design proactive agents that can request human intervention only when needed. To this end, we propose an algorithm that efficiently learns to detect and avoid states that are irreversible, and proactively asks for help in case the agent does enter them. On a suite of continuous control environments with unknown irreversible states, we find that our algorithm exhibits better sample- and intervention-efficiency compared to existing methods. Our code is publicly available at https://sites.google.com/view/proactive-interventions

연구 동기 및 목표

• 에이전트가 불가역 상태에 진입했을 때 자율적으로 탐지하고 도움을 요청함으로써 강화학습에서 인간 모니터링을 줄이기.
• 일반적으로 인간 감독자로부터 비용이 많이 드는 레이블을 획득하는 데 필요한 불가역성 레이블 수를 최소화하기.
• 효율적인 레이블 확보와 프로액티브 간섭을 조합한 프레임워크를 설계하여, 불가역 역학을 가진 실제 강화학습 환경에서의 자율성을 향상시키기.
• 노이즈가 있는 레이블과 확률적 전이 상황에서도 메서드의 강건성을 평가하여 실용적 구현 가능성을 확보하기.

제안 방법

• 학습 도중 불가역 상태에 방문하는 것을 방지하도록 유도하기 위해 불가역성 인식 Q-값 함수를 제안한다.
• 표준 안전 강화학습 대비 O(log T) 쿼리로 트레이젝터리 내 상태의 불가역성을 결정하는 데 사용되는 레이블 효율적인 이진 탐색 기반 레이블링 체계를 도입한다.
• 장기 트레이젝터리의 끝에서만 불가역성 레이블을 쿼리하는 배치 레이블링 전략을 도입하여 실시간 감시를 감소시킨다.
• 레이블 데이터를 사용해 상태의 불가역성을 예측하는 분류기를 훈련시켜, 높은 불확실성 또는 고위험 상태를 감지했을 때 사전 간섭 요청을 가능하게 한다.
• 추론 신뢰도가 낮을 때만 레이블 쿼리를 수행함으로써 레이블 수를 추가로 줄이기 위해 신뢰도 기반 및 앙상블 기반 불확실성 추정을 통합한다.
• 이웃 상태의 슬라이딩 윈도우를 사용해 레이블을 평균화함으로써 인간이 제공한 불가역성 레이블의 노이즈에 대한 내성을 향상시키는 강건한 변형을 구현한다.

실험 결과

연구 질문

• RQ1 강화학습 에이전트가 최소한의 인간 감독으로 불가역 상태를 탐지할 수 있는가?
• RQ2 훈련 중 인간 쿼리 수를 줄이기 위해 불가역성 레이블을 어떻게 효율적으로 확보할 수 있는가?
• RQ3 분류기가 얼마나 잘 불가역 상태를 예측할 수 있는가? 이를 통해 사전 간섭 요청이 실시간 모니터링의 필요성을 얼마나 줄일 수 있는가?
• RQ4 노이즈가 있는 불가역성 레이블과 확률적 환경 전이 상황에서 이 메서드는 얼마나 강건한가?
• RQ5 알 수 없는 불가역 상태를 가진 다양한 연속 제어 과제에서 이 프레임워크는 높은 샘플 및 간섭 효율을 유지할 수 있는가?

주요 결과

• PAINT는 300만 훈련 단계 동안 약 100회의 간섭으로 줄였으며, 이는 이전 알고리즘 대비 최대 15배 적은 간섭 횟수이다.
• 레이블 효율적인 이진 탐색 체계는 트레이젝터리당 레이블 쿼리 수를 O(T)에서 O(log T)로 줄여 인간 레이블링 부담을 크게 감소시켰다.
• 신뢰도 기반 쿼리 방법을 사용함으로써 레이블 수를 100건 미만으로 줄였으며, 이는 표준 PAINT의 3,000건에서 크게 감소한 것이다. 이와 동시에 높은 성공률를 유지했다.
• 앙상블 기반 불확실성 쿼리 방법을 사용할 경우, 불확실성 임계값을 0.0001로 설정했을 때 약 750개의 레이블만으로도 높은 성능을 달성했다.
• PAINT의 강건한 변형은 윈도우 크기가 10일 때 최대 20%의 잘못된 양성 또는 음성 레이블을 견디며 60–80%의 성공률를 유지했다.
• PAINT는 노이즈 수준이 σ = 0.5 이하일 땐 강건하게 작동하지만, 행동 크기보다 노이즈가 더 큰 경우(σ = 1.0)에는 실패한다.