[논문 리뷰] Multi-Objective Deep Reinforcement Learning

Hossam Mossalam, Yannis Assael외 2명|arXiv (Cornell University)|2016. 10. 09.

Reinforcement Learning in Robotics참고 문헌 32인용 수 92

한 줄 요약

이 논문은 OLS 외부 루프 접근 방식을 활용하여 고차원 다목적 결정 문제를 해결할 수 있도록 하는 새로운 프레임워크인 Deep Optimistic Linear Support Learning (DOL)을 제안한다. 특히 부분 재사용(DOL-PR)을 통해 이웃한 단일목적 문제들 간에 신경망 파라미터를 재사용함으로써, DOL 또는 전체 재사용보다 더 높은 정확도와 안정성을 확보하여 다목적 문제에 대한 딥 강화학습의 첫 성공적 적용을 보여준다.

ABSTRACT

We propose Deep Optimistic Linear Support Learning (DOL) to solve high-dimensional multi-objective decision problems where the relative importances of the objectives are not known a priori. Using features from the high-dimensional inputs, DOL computes the convex coverage set containing all potential optimal solutions of the convex combinations of the objectives. To our knowledge, this is the first time that deep reinforcement learning has succeeded in learning multi-objective policies. In addition, we provide a testbed with two experiments to be used as a benchmark for deep multi-objective reinforcement learning.

연구 동기 및 목표

• 목표 가중치가 사전에 알려져 있지 않은 고차원 다목적 강화학습 문제를 해결하는 데 도전한다.
• 낙관적 선형 지원(OLS) 프레임워크와의 호환성을 확보함으로써 딥 Q-러닝을 다목적 마르코프 결정 과정(MOMDPs)으로 확장한다.
• 스칼라화된 단일목적 문제의 반복 과정에서 신경망 파라미터를 재사용하여 다목적 학습의 샘플 효율성을 향상시킨다.
• 두 가지 실험 환경을 제공하는 딥 다목적 강화학습을 위한 벤치마크 테스트베드를 구축한다.
• 전체 재사용과 부분 재사용의 영향을 실험적으로 평가하여 학습 성능 및 수렴 안정성에 미치는 영향을 분석한다.

제안 방법

• 이 방법은 OLS 프레임워크를 외부 루프로 사용하여, 딥 Q-네트워크(DQNs)를 활용해 스칼라화된 단일목적 문제의 시퀀스를 해결한다.
• 각 반복에서 목적함수의 가중합을 적용하여 다목적 문제를 단일목적 문제로 변환하고, 경험 재생과 타겟 네트워크를 사용한 DQN으로 해결한다.
• 제안된 DOL 알고리즘은 DQN이 스칼라 값이 아닌 값 벡터를 출력하도록 훈련시켜 OLS 호환성을 확보함으로써 커버리지 세트 근사가 가능해진다.
• DOL-FR는 이전 반복의 모든 네트워크 파라미터를 재사용하여 학습을 가속화하지만, DOL-PR은 최종 레이어를 제외한 모든 파라미터를 재사용하여 상태 표현을 유지하면서 값 헤드만 재학습한다.
• 값 벡터가 반복 간에 점점 유사해지므로, 파라미터 재사용이 더 빠른 수렴을 가능하게 한다는 사실을 활용한다.
• 벤치마크를 위한 테스트베드로, 결정 문제의 원본 및 이미지 기반 버전 두 가지 환경을 도입한다.

실험 결과

연구 질문

• RQ1 목표 가중치가 사전에 알려져 있지 않은 고차원 다목적 결정 문제에 대해 딥 강화학습을 성공적으로 적용할 수 있는가?
• RQ2 반복 간 파라미터 재사용이 딥 다목적 RL의 성능과 안정성에 어떤 영향을 미치는가?
• RQ3 신경망 가중치의 부분 재사용(DOL-PR)이 전체 재사용(DOL-FR) 또는 재사용 없음(DOL)보다 더 효과적인가?
• RQ4 훈련 에피소드 수가 딥 다목적 RL에서 볼록 커버리지 세트 근사 정확도에 어떤 영향을 미치는가?
• RQ5 OLS 프레임워크를 딥 Q-러닝과 효과적으로 조합하여 MOMDPs에 대해 확장 가능한 솔루션을 만들 수 있는가?

주요 결과

• DOL-PR은 원본 및 이미지 기반 환경 모두에서 볼록 커버리지 세트(CSS) 근사에 가장 높은 성능과 안정성을 보였다.
• DOL-PR의 최대 CSS 오차는 DOL 및 DOL-FR보다 현저히 낮았으며, 특히 이미지 기반 버전에서 가장 안정적인 수렴을 보였다.
• 에피소드 수가 적은 경우(예: 4000 미만), DOL-PR은 충분한 정확도를 확보하지 못해 훈련이 충분히 이루어져야 함을 시사한다.
• 10,000개의 에피소드에서 DOL-PR은 과적합의 징후를 보이며 성능이 저하되어, 조기 정지가 유리할 수 있음을 시사한다.
• 부분 파라미터 재사용(DOL-PR)이 전체 재사용(DOL-FR)보다 우수한 성능을 보였으며, 이는 이전 최적 정책으로부터의 열화를 방지하기 위해 표현 헤드를 유지하면서 값 헤드만 재학습하는 것이 효과적임을 시사한다.
• 이 프레임워크는 고차원 값 함수를 성공적으로 학습하고 정확한 커버리지 세트를 생성하여, 다목적 문제에 대한 딥 RL의 첫 성공적 적용을 이룩했다.