[논문 리뷰] Repeated Inverse Reinforcement Learning

Kareem Amin, Nan Jiang외 1명|arXiv (Cornell University)|2017. 05. 15.

Reinforcement Learning in Robotics인용 수 30

한 줄 요약

이 논문은 반복적인 역강화학습 프레임워크를 제안하며, 에이전트가 인간의 내재 보상 함수를 놀라움(하나의 하위최적 행동이 인간의 시연를 유도하는 것)을 최소화하여 학습한다. 반복적으로 작업 간 인간의 수정 사례를 관찰함으로써, 샘플 효율성이 보장된 상태에서 진정한 보상 함수를 식별한다. 이는 d가 상태공간 크기이고 ε가 하위최적성 임계값일 때, Õ(d²/ε² log(d/δε))회의 실수 상한선을 갖는다.

ABSTRACT

We introduce a novel repeated Inverse Reinforcement Learning problem: the agent has to act on behalf of a human in a sequence of tasks and wishes to minimize the number of tasks that it surprises the human by acting suboptimally with respect to how the human would have acted. Each time the human is surprised, the agent is provided a demonstration of the desired behavior by the human. We formalize this problem, including how the sequence of tasks is chosen, in a few different ways and provide some foundational results.

연구 동기 및 목표

• 기본적인 역강화학습에서 보상 함수의 식별 불가능성 문제를 해결하기 위해 반복 IRL 설정을 도입한다.
• 다양한 작업 간 인간의 선호를 일반화하기 위해 변화하지 않는 내재 보상 함수를 학습한다.
• 하위최적 행동으로 인한 인간의 놀라움 횟수를 최소화하며, 인간 피드백을 통해 각 놀라움을 수정한다.
• 학습 과정 중에 에이전트가 범한 실수(놀라움)의 수에 대한 이론적 보장을 제공한다.
• 인간 피드백이 전체 정책가 아니라 부분적인 궤적을 통해 제공되는 설정으로 프레임워크를 확장한다.

제안 방법

• 공유된 내재 보상 함수 θ⋆와 작업별 구성요소를 가진 일련의 마르코프 결정 과정(MDPs)에 직면한 반복 IRL 문제를 수식화한다.
• 보상 함수를 변화하지 않는 구성요소(θ⋆)와 작업별 구성요소로 분해함으로써, 반복적 상호작용을 통해 θ⋆를 학습할 수 있도록 한다.
• 장기적 유틸리티를 표현하기 위해 상태 점유 측도 ημ,Pπ를 기반으로 한 정책 평가 프레임워크를 사용하며, 이를 보상 함수와 Y⊤ημ,Pπ를 통해 연결한다.
• 각 놀라움 이후에 추정 보상 함수 Θt를 업데이트하는 알고리즘(알고리즘 1)을 설계하며, 신뢰구간 기반 업데이트 규칙을 사용하여 θ⋆로 수렴하도록 한다.
• 궤적 기반 피드백을 처리하기 위해 오류를 마이너스 배치 단위로 집계하고, Θt를 주기적으로만 업데이트함으로써 노이즈가 많거나 희박한 시범에 대한 강건성을 확보한다.
• 악성 작업 선택을 활용하여 최악의 경우 성능 한계를 보장하며, 작업 환경(Et, Rt)을 적대자가 에이전트를 시험할 수 있도록 선택하는 것으로 간주한다.

실험 결과

연구 질문

• RQ1 에이전트는 여러 작업에 걸쳐 놀라움 횟수를 최소화함으로써 인간의 내재 보상 함수 θ⋆를 학습할 수 있는가?
• RQ2 진정한 보상 함수로 수렴하기 전에 에이전트가 범할 수 있는 실수(놀라움)의 이론적 상한선은 무엇인가?
• RQ3 피드백이 부분 궤적으로 제한되어 있을지라도, 하위최적 행동 이후에만 인간의 시범을 제공할 수 있을 때 에이전트는 어떻게 일반화할 수 있는가?
• RQ4 에이전트가 작업 환경과 보상을 선택할 수 있을 때 샘플 복잡도와 수렴 보장은 어떻게 되는가?
• RQ5 인간 피드백이 전체 정책가 아니라 실수 상태에서의 단일 궤적으로 제공되는 설정으로 프레임워크를 확장할 수 있는가?

주요 결과

• 에이전트는 d가 상태 수이고 ε가 하위최적성 임계값일 때, Õ(d²/ε² log(d/δε))회의 실수 상한선을 갖는다. 이는 높은 확률로 진정한 내재 보상 함수 θ⋆를 식별할 수 있음을 의미한다.
• 에이전트가 작업 환경과 보상을 선택할 수 있는 경우, 수렴 보장이 있는 효율적인 보상 식별 알고리즘을 제안한다.
• 인간 피드백이 실수 상태에서의 단일 궤적으로 제공되는 설정에서는 알고리즘 2가 알고리즘 1과 동일한 실수 상한선을 달성하며, 샘플 복잡도는 Õ(d²/ε² log(d/δε))이다.
• 이 프레임워크는 실수 수에 대한 하한을 제공하여, 상한선이 로그 인자 외에는 타이트함을 보여준다.
• 피드백이 전체 정책가 아니라 단일 궤적일 경우에도, 다수의 실수를 집계하고 보상 추정치를 주기적으로 업데이트함으로써 방법은 강건성을 유지한다.
• 이론적 분석은 악성 작업 선택 하에서도 유효하며, 작업 분포에 대한 가정 없이 최악의 경우 성능 보장을 보장한다.