[논문 리뷰] On Multi-objective Policy Optimization as a Tool for Reinforcement Learning.

Abbas Abdolmaleki, Sandy H. Huang외 12명|arXiv (Cornell University)|2021. 06. 15.

Reinforcement Learning in Robotics참고 문헌 52인용 수 7

한 줄 요약

이 논문은 다목적 강화학습(MORL)을 통합 원리로 삼아 딥 RL 성능 향상을 제안하며, 작업 보상과 행동 코딩과 같은 보조 목표를 동시에 최적화하는 척도 불변 알고리즘인 DiME를 도입한다. 약간의 오프라인 RL 벤치마크에서 기존 최고 성능 기법들을 능가하는 뛰어난 성능을 보이며, 암시적 학습과 오프라인 RL을 모두 다목적 문제로 간주함으로써 성능 향상을 이룬다.

ABSTRACT

Many advances that have improved the robustness and efficiency of deep reinforcement learning (RL) algorithms can, in one way or another, be understood as introducing additional objectives, or constraints, in the policy optimization step. This includes ideas as far ranging as exploration bonuses, entropy regularization, and regularization toward teachers or data priors when learning from experts or in offline RL. Often, task reward and auxiliary objectives are in conflict with each other and it is therefore natural to treat these examples as instances of multi-objective (MO) optimization problems. We study the principles underlying MORL and introduce a new algorithm, Distillation of a Mixture of Experts (DiME), that is intuitive and scale-invariant under some conditions. We highlight its strengths on standard MO benchmark problems and consider case studies in which we recast offline RL and learning from experts as MO problems. This leads to a natural algorithmic formulation that sheds light on the connection between existing approaches. For offline RL, we use the MO perspective to derive a simple algorithm, that optimizes for the standard RL objective plus a behavioral cloning term. This outperforms state-of-the-art on two established offline RL benchmarks.

연구 동기 및 목표

• 탐색 보너스, 엔트로피 정규화, 암시 학습과 같은 다양한 딥 RL 향상 기법들을 다목적 강화학습(MORL) 프레임워크로 통합하는 것.
• 작업 보상과 보조 목표(예: 전문가 암시, 탐색) 사이의 본질적 갈등을 다목적 최적화 문제로 공식화하여 해결하는 것.
• 다양한 목표 척도에 관계없이 성능 일관성을 유지하는 척도 불변 알고리즘을 개발하는 것.
• MORL 관점의 실용적 이점을 입증하기 위해 오프라인 RL과 암시 학습에 적용함으로써 성능 향상을 이끌어내는 것.

제안 방법

• 작업 보상과 보조 목표를 가중합 또는 스칼라화를 통해 결합하는 다목적 정책 최적화 알고리즘인 DiME(Distillation of a Mixture of Experts)를 제안한다.
• 목표 척도의 상대적 크기와 관계없이 일관된 최적화 성능을 보장하는 척도 불변 공식을 적용한다.
• 표준 RL 목표와 전문가 시범을 일치시키는 행동 코딩 항목을 조합하여 오프라인 RL을 다목적 문제로 재정의한다.
• 다양한 전문가의 정책을 통합하여 작업 성능와 전문가 행동을 균형 잡는 정책을 도출하는 믹스처 오브 응용 프로그램 방식을 사용한다. 이는 일반화 능력을 향상시킨다.
• 학습 중 경쟁하는 목표를 균형 잡기 위해 적응형 가중치를 사용하는 스칼라화된 다목적 최적화를 적용한다.
• 작업 보상을 최대화하면서도 전문가 데이터와의 일치를 장려하는 디스틸레이션 메커니즘을 구현한다.

실험 결과

연구 질문

• RQ1 기존의 딥 RL 향상 기법들—예를 들어 엔트로피 정규화와 전문가 암시—을 단일 다목적 최적화 프레임워크로 통합할 수 있는가?
• RQ2 다목적 강화학습을 어떻게 척도 불변으로 만들 수 있으며, 이는 다양한 목표 척도에서 안정적이고 일관된 최적화를 보장하는가?
• RQ3 오프라인 RL을 다목적 문제로 재정의하면 기존 방법보다 성능 향상이 이루어지는가?
• RQ4 MORL 관점은 기존의 RL 알고리즘들—행동 코딩과 오프라인 RL—사이의 관계를 새롭게 이해하는 데 기여하는가?

주요 결과

• DiME 알고리즘은 작업 보상과 행동 코딩을 함께 최적화함으로써 두 가지 주요 오프라인 RL 벤치마크에서 최고 성능을 기록한다.
• 다목적 관점은 암시 학습과 오프라인 RL 목표를 자연스럽고 직관적인 방식으로 통합하는 데 기여한다.
• 일부 조건 하에서 제안된 알고리즘이 척도 불변성을 확보하여, 목표의 상대적 크기와 관계없이 일관된 최적화를 보장한다.
• 오프라인 RL을 다목적 문제로 재정의함으로써 기존 방법보다 뛰어난 성능을 내는 단순하면서도 효과적인 알고리즘이 도출된다.