[논문 리뷰] AvE: Assistance via Empowerment

Yuqing Du, Stas Tiomkin외 4명|arXiv (Cornell University)|2020. 06. 26.

Robot Manipulation and Learning참고 문헌 48인용 수 14

한 줄 요약

이 논문은 인간의 통제 가능성 향상을 위해 에이전트가 인간의 환경에 대한 통제력을 높이도록 학습하는 에너지 기반 목표를 가진 목표 무관 방법인 보조를 통한 능력화(AvE)를 소개한다. 공유 자율성 사용자 연구에서 평가된 AvE는 목표가 모호하거나 잘못 지정된 상황에서 목표 추론 기반 기준보다 뛰어난 성능을 보이며, 잠깐의 작업 완료 지연에도 불구하고 인간의 성공률을 크게 향상시켰다.

ABSTRACT

One difficulty in using artificial agents for human-assistive applications lies in the challenge of accurately assisting with a person's goal(s). Existing methods tend to rely on inferring the human's goal, which is challenging when there are many potential goals or when the set of candidate goals is difficult to identify. We propose a new paradigm for assistance by instead increasing the human's ability to control their environment, and formalize this approach by augmenting reinforcement learning with human empowerment. This task-agnostic objective preserves the person's autonomy and ability to achieve any eventual state. We test our approach against assistance based on goal inference, highlighting scenarios where our method overcomes failure modes stemming from goal ambiguity or misspecification. As existing methods for estimating empowerment in continuous domains are computationally hard, precluding its use in real time learned assistance, we also propose an efficient empowerment-inspired proxy metric. Using this, we are able to successfully demonstrate our method in a shared autonomy user study for a challenging simulated teleoperation task with human-in-the-loop training.

연구 동기 및 목표

• 목표가 알려지지 않았거나 모호한 상황에서 인간을 보조하는 데 도전하는 문제를 해결하기 위해, 기존의 목표 추론 기반 보조 방법의 한계를 극복하고자 한다.
• 인간의 의도나 보상 함수에 대한 가정을 피하기 위해 인간의 자율성을 유지하고자 한다.
• 에너지 기반의 작업 무관 목적을 통해 인간-에이전트 보조를 형식화하여 인간이 원하는 상태로 도달할 수 있는 능력을 향상시키고자 한다.
• 실시간 적용이 가능한 실용적인 에너지 기반의 대체 측정법을 개발하여 연산 효율성을 확보하고자 한다.
• 시뮬레이션된 원격 조작 작업을 포함한 공유 자율성 사용자 연구를 통해 방법의 실증적 검증을 수행하고자 한다.

제안 방법

• 에이전트가 인간의 현재 상태에서 향후에 도달할 수 있는 상태의 수를 최대화하는 에너지 기반 목적을 통합한 강화학습의 보완으로 보조를 형식화한다.
• 동일한 노이즈 가정 하에 도달 가능한 상태의 다양성을 추정함으로써 진정한 에너지 측정의 계산 비용 문제를 피하는 효율적인 에너지 기반 대체 지표를 도입한다.
• 연속 영역에서 정확한 에너지 추정이 계산적으로 불가능한 문제를 해결하여 실시간 배포를 가능하게 한다.
• 에이전트는 인간의 향후 선택지를 늘리는 행동을 우선순위로 삼아 목표 지식 없이도 통제력을 향상시키는 정책을 학습한다.
• 로켓 착륙선(Lunar Lander)과 같은 역학적 시스템의 원격 조작을 포함한 시뮬레이션된 공유 자율성 작업을 대상으로 사용자 연구를 수행한다.
• 성능은 인간의 성공률과 작업 완료 시간을 기준으로 목표 추론 기반 기준과 비교하여 평가된다.

실험 결과

연구 질문

• RQ1 목표 추론이 모호성이나 잘못된 모델링으로 실패하는 상황에서, 에너지 기반의 목표 무관 보조 방법이 인간의 성공률을 향상시킬 수 있는가?
• RQ2 진정한 목표가 알려지지 않았거나 잘못 모델링된 경우, 에너지 기반 보조의 성능은 목표 추론 기반 보조와 비교해 어떻게 되는가?
• RQ3 에너지의 핵심 개념을 유지하면서도 실시간 학습과 인간-에이전트 통합 환경에서의 구현을 가능하게 하는 효율적인 에너지 대체 지표를 설계할 수 있는가?
• RQ4 인간의 에너지 수준을 높이면 공유 자율성 환경에서 더 안정적이고 통제 가능한 시스템 행동을 달성할 수 있는가?
• RQ5 에너지 기반 보조와 목표 기반 보조를 비교할 때, 인간의 성공률과 작업 완료 속도 사이의 상충 관계는 어떻게 나타나는가?

주요 결과

• AvE는 목표가 모호하거나 잘못 지정된 상황에서 목표 추론 기반 기준보다 뛰어난 인간 성공률을 확보하며, 이러한 실패 유형에서 뚜렷한 성능 향상을 보였다.
• 목표 집합이 정확히 지정되어 있고 크기가 작은 경우, 목표 추론 방법이 여전히 AvE를 능가하여, 강건성과 속도 사이의 상충 관계가 존재함을 시사한다.
• 제안된 에너지 기반 대체 지표는 정확한 진정한 에너지 측정이 아니지만, 실시간 학습과 인간-에이전트 통합 환경에서의 성공적인 구현을 가능하게 하였다.
• 이 방법은 공유 자율성 작업에서 자연스럽게 시스템 안정성을 유도하며, 이는 높은 인간 성공률에 기여하였다.
• 사용자 연구 결과, AvE는 인간의 목표를 알지 못해도 효과적인 보조를 제공함을 입증하였으며, 일반화된 보조 프레임워크로서의 잠재력을 확인하였다.
• 결과적으로, 인간의 통제 가능성 향상(에너지 증가)은 특히 고위험 또는 불확실한 환경에서 목표 추론의 강력한 대안이 될 수 있음을 시사한다.