[논문 리뷰] Generalizing Across Multi-Objective Reward Functions in Deep Reinforcement Learning

Eli A. Friedman, Fred L. Fontaine|arXiv (Cornell University)|2018. 09. 17.

Mental Health Research Topics인용 수 7

한 줄 요약

이 논문은 경험 재생을 보완하여 다른 보상 가중치를 통합함으로써 딥 강화학습 에이전트가 선형 가중치가 부여된 다목적 보상 함수 간에 일반화할 수 있도록 하는 방법을 제안한다. 이 방법은 힌트를 활용한 경험 재생(Hindsight Experience Replay)을 다목적 설정으로 확장하여 한 개의 정책이 실시간으로 보상 가중치의 모든 조합에 적응할 수 있도록 하며, 재학습 없이도 지속적인 적응이 가능하다. 1차원 및 2차원 제어 과제에서 시간 효율성과 연료 효율성 간의 다양한 트레이드오프 상황에서도 효과적인 일반화를 보여준다.

ABSTRACT

Many reinforcement-learning researchers treat the reward function as a part of the environment, meaning that the agent can only know the reward of a state if it encounters that state in a trial run. However, we argue that this is an unnecessary limitation and instead, the reward function should be provided to the learning algorithm. The advantage is that the algorithm can then use the reward function to check the reward for states that the agent hasn't even encountered yet. In addition, the algorithm can simultaneously learn policies for multiple reward functions. For each state, the algorithm would calculate the reward using each of the reward functions and add the rewards to its experience replay dataset. The Hindsight Experience Replay algorithm developed by Andrychowicz et al. (2017) does just this, and learns to generalize across a distribution of sparse, goal-based rewards. We extend this algorithm to linearly-weighted, multi-objective rewards and learn a single policy that can generalize across all linear combinations of the multi-objective reward. Whereas other multi-objective algorithms teach the Q-function to generalize across the reward weights, our algorithm enables the policy to generalize, and can thus be used with continuous actions.

연구 동기 및 목표

• 딥 강화학습에서 보상 함수를 환경의 고정된 구성 요소로 간주하는 한계를 극복하기 위해.
• 보상 함수를 학습 알고리즘에 통합하여 선형 가중치가 부여된 다목적 보상의 분포 전체에 걸쳐 에이전트가 일반화할 수 있도록 하기 위해.
• 한 번 학습된 정책이 실시간으로 새로운 보상 가중치 조합에 적응할 수 있도록 하여 재학습이 필요 없도록 하기 위해.
• 힌트를 활용한 경험 재생을 다목적 설정으로 확장하여 다양한 보상 스칼라화에 걸쳐 오프-폴리시 학습이 가능하도록 하기 위해.

제안 방법

• 이 방법은 경험 재생 데이터셋 내 상태 표현의 일부로 보상 가중치 벡터를 통합한다.
• 재생 버퍼 내 각 전이에 대해, 동일한 상태-행동 쌍에 대해 다른 보상 가중치를 적용하여 k개의 증강된 경험을 생성한다.
• 에이전트는 상태-행동 쌍과 보상 가중치를 Q-값으로 매핑하는 단일 정책을 학습함으로써 다목적 보상의 모든 선형 조합에 대한 일반화를 가능하게 한다.
• 이 방법은 증강된 경험을 실제 전이와 함께 샘플링하는 오프-폴리시 딥 강화학습을 사용한다.
• 보상 함수는 학습 알고리즘에 명시적으로 제공되어, 방문하지 않은 상태에 대한 보상 평가가 가능해진다.
• 이 알고리즘은 연속적인 행동 공간과 함께 호환되며, 기존의 오프-폴리시 딥 RL 알고리즘에 최소한의 수정으로 적용 가능하다.

실험 결과

연구 질문

• RQ1 딥 강화학습 에이전트가 다목적 보상 함수의 모든 선형 조합에 대해 일반화할 수 있는 단일 정책을 학습할 수 있는가?
• RQ2 증강률 k가 에이전트가 다양한 보상 가중치 조합에 걸쳐 일반화하는 능력에 미치는 영향은 무엇인가?
• RQ3 에이전트는 재학습 없이도 새로운 보상 가중치에 실시간으로 행동을 적응시킬 수 있는가?
• RQ4 이 방법은 각 새로운 보상 가중치 벡터에 대해 재학습이 필요한 기존 표준 방법보다 성능이 뛰어나게 되는가?
• RQ5 보상 가중치 공간의 차원 수가 증가함에 따라 성능은 어떻게 변화하는가?

주요 결과

• 에이전트는 새로운 보상 가중치 조합에 실시간으로 적응할 수 있는 정책을 성공적으로 학습하여, 선형 가중치가 부여된 다목적 보상 간에 효과적인 일반화를 보였다.
• 1차원 이중 인테그레이터 과제에서, 에이전트는 이론적 최적값에서 최소한의 편차를 보이며 이동 시간과 연료 소비 간의 최적 트레이드오프를 거의 정확히 근사하는 정책을 학습했다.
• 2차원 이중 인테그레이터 과제에서, 에이전트는 가중치 벡터에 따라 축 1 또는 축 2를 우선순위로 삼는 것을 정확히 수행하여, 다차원 간 목표를 분리하는 것을 학습했다고 볼 수 있다.
• 1차원 환경에서 최적의 증강률 k는 2로 확인되었으며, 이는 충분한 경험 다양성과 학습 효율성 사이의 균형을 의미한다.
• 이 방법은 새로운 보상 가중치에 대한 지속적인 적응을 가능하게 하여, 다양한 선호 설정에 따른 반복적인 정책 학습이 크게 줄어들었다.
• 결과적으로, 보상 가중치 간의 정책 일반화가 고차원 가중치 공간에서도 최소한의 기존 딥 RL 프레임워크 수정으로도 가능하고 효과적임을 보여주었다.