[논문 리뷰] Regret-based Reward Elicitation for Markov Decision Processes

Kevin Regan, Craig Boutilier|Uncertainty in Artificial Intelligence|2012. 05. 09.

Reinforcement Learning in Robotics참고 문헌 20인용 수 58

한 줄 요약

이 논문은 최소한의 보상 함수 정밀 설정으로도 정규화된 보상 지침을 통해 마르코프 결정 과정(MDPs)의 보상 지침 부담을 줄이는 회귀 기반 보상 유도 프레임워크를 제안한다. 이는 경계 질의를 반복적으로 사용하여 회귀를 최소화함으로써 이루어지며, 최대 최소 회귀 기준을 활용하고 기대 회귀 감소를 바탕으로 질의를 선택함으로써 근사 최적 정책을 매우 적은 사용자 입력으로 효율적으로 식별한다. 실험 평가에서는 전체 보상 지침에 비해 상당한 향상을 보였다.

ABSTRACT

The specification of aMarkov decision process (MDP) can be difficult. Reward function specification is especially problematic; in practice, it is often cognitively complex and time-consuming for users to precisely specify rewards. This work casts the problem of specifying rewards as one of preference elicitation and aims to minimize the degree of precision with which a reward function must be specified while still allowing optimal or near-optimal policies to be produced. We first discuss how robust policies can be computed for MDPs given only partial reward information using the minimax regret criterion. We then demonstrate how regret can be reduced by efficiently eliciting reward information using bound queries, using regret-reduction as a means for choosing suitable queries. Empirical results demonstrate that regret-based reward elicitation offers an effective way to produce near-optimal policies without resorting to the precise specification of the entire reward function.

연구 동기 및 목표

• MDPs에서 보상 함수를 정밀하게 지정하는 데서 오는 인지적 부담을 완화하기 위해.
• 최적 또는 근사 최적 정책 학습을 가능하게 하면서도 사용자로부터 필요한 보상 정보의 양을 최소화하기 위해.
• 회귀를 측정 기준으로 삼아 질의 선택을 이끌어내는 선호 유도 프레임워크를 개발하기 위해.
• 반복적 질의 기반 유도가 전체 보상 지정 없이도 최적에 가까운 정책을 생성할 수 있음을 입증하기 위해.

제안 방법

• 부분적인 보상 정보 하에서 강건한 정책을 계산하기 위해 최대 최소 회귀 기준을 사용한다.
• 상태-행동 쌍에 대한 가능한 보상 값의 범위를 제약하는 경계 질의를 설정한다.
• 최악의 경우 회귀 감소 기대치를 바탕으로 질의를 선택하며, 최적 정책의 회귀를 가장 좁게 제약하는 질의를 우선순위로 한다.
• 사용자 피드백을 통해 반복적으로 보상 경계를 정밀화하고, 각 단계에서 정책과 회귀 추정치를 갱신한다.
• 선형 프로그래밍을 사용하여 최대 최소 회귀 정책을 계산하고 질의 선택을 최적화한다.
• 보상에 대한 불확실성을 모델링하고 정보성 있는 질의를 동적으로 선택함으로써 사용자 상호작용을 통합한다.

실험 결과

연구 질문

• RQ1 선호 유도 프레임워크는 MDPs에서 정밀한 보상 지정의 필요성을 줄일 수 있는가, 동시에 정책 품질을 유지할 수 있는가?
• RQ2 어떻게 회귀를 효과적으로 측정 기준으로 삼아 정보성 있는 질의 선택을 이끌 수 있는가?
• RQ3 경계 질의는 얼마나 많은 회귀 감소를 이끌어내며, 최소한의 사용자 입력으로 정책 성능을 향상시킬 수 있는가?
• RQ4 수렴 속도와 정책 품질 측면에서, 회귀 기반 질의 선택은 무작위 또는 히وري스틱 질의 전략에 비해 어떻게 비교되는가?

주요 결과

• 회귀 기반 유도 프레임워크는 전체 지정 대비 요구되는 보상 질의 수를 크게 줄이며, 매우 적은 사용자 노력으로 근사 최적 정책을 달성한다.
• 실험 결과, 회귀 기반 질의 선택은 대안적 질의 전략에 비해 더 빠른 수렴 속도와 더 낮은 최악의 경우 회귀를 보였다.
• 유도된 보상 경계를 사용해 계산된 정책는 테스트 환경에서 최적 정책의 1% 이내 성능을 달성했다.
• 이 방법은 불확실성 하에서도 강건성을 유지하며, 보상 정보가 불완전하더라도 최대 최소 회귀 정책은 여전히 효과가 있었다.
• 경계 질의의 사용은 보상 공간의 효율적 탐색을 가능하게 하여 정책 재계산 시 계산 오버헤드를 감소시켰다.
• 사용자 피드백이 효율적으로 활용되었으며, 각 질의가 회귀 감소 측면에서 최대 정보 수확을 제공했다.