[논문 리뷰] Discovering Diverse Nearly Optimal Policies with Successor Features

Tom Zahavy, Brendan O’Donoghue외 4명|arXiv (Cornell University)|2021. 06. 01.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 상속 특징(SFs)의 다양성을 최적화하면서 제약을 가진 마르코프 결정 과정(CMDP)을 통해 근사 최적의 성능 유지를 통해 행동 다양성이 높은 근사 최적의 강화학습 정책 집합을 발견하는 Diverse Successive Policies를 제안한다. 이 방법은 SF 간 상관관계를 최소화하는 명시적 다양성 보상함수를 사용하며, 기존의 강건성과 분류 기반 방법보다 세부적인 행동 패턴(예: 삼각다리 서기, 높은 무릎으로 걷기 등)을 더 잘 발견한다.

ABSTRACT

Finding different solutions to the same problem is a key aspect of intelligence associated with creativity and adaptation to novel situations. In reinforcement learning, a set of diverse policies can be useful for exploration, transfer, hierarchy, and robustness. We propose Diverse Successive Policies, a method for discovering policies that are diverse in the space of Successor Features, while assuring that they are near optimal. We formalize the problem as a Constrained Markov Decision Process (CMDP) where the goal is to find policies that maximize diversity, characterized by an intrinsic diversity reward, while remaining near-optimal with respect to the extrinsic reward of the MDP. We also analyze how recently proposed robustness and discrimination rewards perform and find that they are sensitive to the initialization of the procedure and may converge to sub-optimal solutions. To alleviate this, we propose new explicit diversity rewards that aim to minimize the correlation between the Successor Features of the policies in the set. We compare the different diversity mechanisms in the DeepMind Control Suite and find that the type of explicit diversity we are proposing is important to discover distinct behavior, like for example different locomotion patterns.

연구 동기 및 목표

• 대부분의 강화학습 방법이 단일 최적 정책을 찾는 데 집중하는 데 반해, 질적으로 다른 다양한 솔루션의 집합을 찾는 데에 한계가 있음을 해결하기 위해.
• 상속 특징(SFs)의 다양성을 주요 목표로 하여 근사 최적의 정책 집합을 탐색하는 것을 수식화하기 위해 제약을 가진 마르코프 결정 과정(CMDP)으로 공식화하기 위해.
• 다양한 초기화 조건 하에서 기존 내재적 다양성 메커니즘(강건성 및 분류)의 민감도와 부분 최적화 성능를 분석하기 위해.
• 정책의 상속 특징 간 상관관계를 최소화하는 새로운 명시적 다양성 보상함수를 제안하여 다양성을 향상시키고 국소 최적점에 갇히는 것을 방지하기 위해.
• 딥마인드 컨트롤 스위트에서 다양한 고보상 행동 패턴(예: 새로운 보행 패턴 포함)을 학습하는 데에 방법의 효과성을 입증하기 위해.

제안 방법

• 외재적 보상 기준으로 근사 최적의 성능를 유지하는 조건 하에 상속 특징(SFs)의 다양성을 최대화하는 것이 목표인 CMDP로 문제를 공식화하기 위해.
• 다른 정책 집합의 SF 간 상관관계를 최소화하는 인트리닉 다양성 보상함수를 정의하며, 이는 특징의 선형 조합을 기반으로 한다.
• 다양성과 근사 최적성의 동시 최적화를 위해 라그랑주 승수 방법을 사용하며, 제약 조건의 가중치를 동적으로 조정한다.
• 정책을 단계적으로 훈련하여, 매번 기존에 훈련된 정책의 SF를 기반으로 한 다양성 목표를 갖는 CMDP를 풀며 하나의 정책씩 집합에 추가한다.
• 스parsereward 및 no-reward 설정을 모두 사용하여 딥마인드 컨트롤 스위트 환경에서 다양성과 성능을 평가한다.
• 기존 방법(강건성, 분류)과 비교하여 제안된 명시적 다양성 보상함수의 행동 다양성 및 수렴 안정성 측면에서의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 상속 특징의 다양성을 목표로 하는 제약을 가진 MDP 프레임워크는 다양하고 근사 최적의 정책 집합을 생성할 수 있는가?
• RQ2 기존의 내재적 다양성 메커니즘(강건성 및 분류)은 행동 다양성과 수렴 안정성 측면에서 어떻게 성능를 보이는가?
• RQ3 상속 특징 간 상관관계를 명시적으로 최소화하는 것이 암묵적 또는 간접적 다양성 신호보다 더 나은 다양성을 이끌어내는가?
• RQ4 제안된 방법은 근사 최적의 성능를 유지하면서도 질적으로 다른 보행 행동(예: 삼각다리 서기, 높은 무릎으로 걷기 등)을 발견할 수 있는가?
• RQ5 외재적 보상이 훈련 중에 제공되지 않는 no-reward 설정에서 이 방법은 어떻게 성능를 발휘하는가?

주요 결과

• 상속 특징 간 상관관계를 최소화하는 데 초점을 맞춘 제안된 명시적 다양성 보상함수는 강건성 및 분류 방법보다 다양성을 더 잘 발견하는 데에 뚜렷한 승리를 거두었다.
• Walker.walk 환경에서, 이 방법은 한 다리 들어 올리기, 높은 무릎으로 걷기, 발끝에서 발꿈치로 걷기 등 다양한 보행 패턴을 발견하였으며, 최대 외재적 보상의 98%를 달성하였다.
• Dog.stand 환경에서는 삼각다리 서기의 다양한 변형을 발견하였고, 반면에 다양성 메커니즘이 없는 기준선은 유사한 성능(최대 보상의 92~106%)을 기록했지만 오직 사다리다리 서기 패턴만을 보였다.
• no-reward 설정에서는 Walker에서 뒷걸음 무릎 꿇기, 기어가기, 플릭플랙 점프와 같은 복잡한 보행 스킬과 Cheetah에서 앞뒤로 달리기, 점프하기 등의 행동을 발견하였다.
• 이 방법은 최소한의 하이퍼파rameter 튜닝으로도 높은 다양성을 달성하였고, 반면 강건성 및 분류 방법은 종종 부분 최적 또는 정적 행동(예: 요가 자세)으로 수렴하였다.
• 모든 발견된 정책들은 근사 최적성 제약(최대 외재적 보상의 ≥90%)을 충족하였으며, 이는 다양성이 성능 손실 없이 달성되었음을 확인한다.