[논문 리뷰] Modular Multi-Objective Deep Reinforcement Learning with Decision Values

Tomasz Tajmajer|arXiv (Cornell University)|2017. 04. 21.

Reinforcement Learning in Robotics참고 문헌 19인용 수 1

한 줄 요약

이 논문은 결정 값(Decision Values)을 사용하여 개별 목표에 대한 별도의 DQN을 활용하고, 그 출력을 동적으로 스칼라화하는 모odular 다중목표 강화학습 기반 딥Q네트워크(MODQN-DV)를 제안한다. 이는 학습 후 우선순위 조정과 행동 재구성 가능성을 제공하며, 목표 우선순위가 변화할 경우 기존 DQN 기반 방법보다 9개의 시나리오 중 7개에서 성능을 향상시키며, 재학습 없이도 런타임에서 행동을 조정할 수 있다.

ABSTRACT

In this work we present a method for using Deep Q-Networks (DQNs) in multi-objective environments. Deep Q-Networks provide remarkable performance in single objective problems learning from high-level visual state representations. However, in many scenarios (e.g in robotics, games), the agent needs to pursue multiple objectives simultaneously. We propose an architecture in which separate DQNs are used to control the agent's behaviour with respect to particular objectives. In this architecture we introduce decision values to improve the scalarization of multiple DQNs into a single action. Our architecture enables the decomposition of the agent's behaviour into controllable and replaceable sub-behaviours learned by distinct modules. Moreover, it allows to change the priorities of particular objectives post-learning, while preserving the overall performance of the agent. To evaluate our solution we used a game-like simulator in which an agent - provided with high-level visual input - pursues multiple objectives in a 2D world.

연구 동기 및 목표

• 충돌 회피, 청소, 재충전과 같은 상충되는 목표를 동시에 고려해야 하는 다중목표 환경에서 단일목표 DQN의 한계를 해결하기 위해.
• 재학습 없이도 학습 후 목표 우선순위 재구성과 특정 행동의 선택적 비활성화를 가능하게 하여 로봇 및 게임 AI에 실용적인 구현을 지원하기 위해.
• 복잡한 에이전트 행동을 독립적으로 훈련 가능한 모듈형 DQN 컴포넌트로 분해하여 제어성과 유지보수성을 향상시키기 위해.
• 실시간 관련성에 기반해 다수의 DQN 출력을 견고하게 스칼라화할 수 있는 메커니즘으로 결정 값을 도입하여 우선순위 변화에 대한 적응성을 향상시키기 위해.
• 기존 Atari와 유사하지만 다중목표 평가에 특화된 새로운 벤치마크 'cleaner'를 구축하기 위해.

제안 방법

• 충돌 회피, 바닥 청소, 재충전 등의 목표에 대해 각각 별도의 딥Q네트워크(DQN)를 사용하여 모듈러한 훈련을 가능하게 한다.
• 결정 값은 상태에 따라 변화하는 학습된 가중치로, 각 DQN의 Q값 출력을 스칼라화하기 전에 조정한다. 이는 현재 각 목표의 관련성 정도를 반영한다.
• 최종 행동은 결정 값이 가중치가 된 Q값의 가중합에 기반하여 선택되며, 이는 환경적 맥락에 따라 동적으로 우선순위를 조정할 수 있도록 한다.
• 결정 값은 다수의 목표에서의 전체 성능을 최적화하는 공통 손실 함수를 통해 엔드 투 엔드로 훈련되며, 학습 후 새로운 우선순위 설정에 적응할 수 있도록 한다.
• 결정 값 메커니즘을 통해 새로운 DQN을 초기화하고 통합함으로써, 재학습 없이도 런타임에서 목표 우선순위를 변경하거나 새로운 목표를 추가할 수 있다.
• 프레임워크는 시각적 상태 입력을 갖는 2D 격자 월드 시뮬레이터에서 평가되었으며, 다양한 우선순위 설정 하에서 다중목표를 추구하는 청소로봇을 시뮬레이션하였다.

실험 결과

연구 질문

• RQ1 결정 값이 포함된 모듈러 DQN 아키텍처는 학습 후 우선순위 재구성 기능을 제공하면서도 효과적인 다중목표 강화학습을 가능하게 하는가?
• RQ2 훈련 시 사용된 우선순위와 다를 경우, 결정 값의 사용이 성능에 어떻게 기여하는가?
• RQ3 결정 값은 성능 저하 없이 특정 행동의 동적 비활성화 또는 재활성화를 어느 정도 가능하게 하는가?
• RQ4 기존에 훈련된 에이전트에 새로운 목표를 추가할 때, 결정 값 메커니즘을 통해 영향력을 조정함으로써 재학습 없이도 가능한가?
• RQ5 MODQN-DV는 표준 DQN 및 MODQN 대비 다수의 목표에서 우선순위 변화에 대해 얼마나 강인한가?

주요 결과

• 학습 후 우선순위 설정이 변경된 9개의 테스트 케이스 중 7개에서 MODQN-DV는 결정 값이 없는 MODQN 대비 전체 성능을 유지하거나 향상시켰다.
• 최고 우선순위 목표가 변경되었을 경우, 결정 값이 있는 경우 해당 목표의 성능이 항상 향상되었으며, 이는 효과적인 동적 우선순위 조정을 의미한다.
• 결정 값이 없는 기준 MODQN은 0,1,0 우선순위 설정에서 1,1,1 설정 대비 성능이 286.74% 감소했으며, 이는 표준 스칼라화의 불안정성을 보여준다.
• 에이전트가 특정 목표와 관련된 상태에 가까워질수록 결정 값이 동적으로 증가하는 경향을 보였다. 예를 들어, 벽 근처에 다가갈수록 충돌 회피 목표의 결정 값이 상승하며, 맥락 기반 관련성 추정이 잘 작동함을 입증한다.
• 우선순위가 이동된 경우에도, 예를 들어 0.5, 0.3, 0.2 설정에서 MODQN-DV는 기준 대비 전체 성능을 44.55% 향상시켰으며, 성능 유지 또는 향상이 가능했다.
• 제안된 'cleaner' 벤치마크는 다중목표 평가에 적합한 시각적 환경을 제공하며, 현재 존재하는 벤치마크의 격차를 메우는 데 기여한다.