[논문 리뷰] Interpretable Multi-Objective Reinforcement Learning through Policy Orchestration

Ritesh Noothigattu, Djallel Bouneffouf외 7명|arXiv (Cornell University)|2018. 09. 21.

Reinforcement Learning in Robotics참고 문헌 25인용 수 22

한 줄 요약

이 논문은 행동 시연에서 암묵적인 사회적 제약을 인fer하기 위해 역강화학습(IRL)과 환경 보상 최대화를 위해 딥강화학습(DRL)을 조합함으로써 해석 가능한 다목적 강화학습 프레임워크를 제안한다. 맥락 기반 밴딧 조율기(contextual bandit orchestrator)는 보상 최적화 정책과 제약 충족 정책 사이를 동적으로 선택하여 성능과 준수성 간 최적의 트레이드오프를 달성하는 투명하고 적응 가능한 정책 혼합을 가능하게 하며, 팩맨 환경에서 중요한 λ 임계값에서 명확한 행동 전환 패tern을 보여준다.

ABSTRACT

Autonomous cyber-physical agents and systems play an increasingly large role in our lives. To ensure that agents behave in ways aligned with the values of the societies in which they operate, we must develop techniques that allow these agents to not only maximize their reward in an environment, but also to learn and follow the implicit constraints of society. These constraints and norms can come from any number of sources including regulations, business process guidelines, laws, ethical principles, social norms, and moral values. We detail a novel approach that uses inverse reinforcement learning to learn a set of unspecified constraints from demonstrations of the task, and reinforcement learning to learn to maximize the environment rewards. More precisely, we assume that an agent can observe traces of behavior of members of the society but has no access to the explicit set of constraints that give rise to the observed behavior. Inverse reinforcement learning is used to learn such constraints, that are then combined with a possibly orthogonal value function through the use of a contextual bandit-based orchestrator that picks a contextually-appropriate choice between the two policies (constraint-based and environment reward-based) when taking actions. The contextual bandit orchestrator allows the agent to mix policies in novel ways, taking the best actions from either a reward maximizing or constrained policy. In addition, the orchestrator is transparent on which policy is being employed at each time step. We test our algorithms using a Pac-Man domain and show that the agent is able to learn to act optimally, act within the demonstrated constraints, and mix these two functions in complex ways.

연구 동기 및 목표

• 암묵적인 사회적 규범과 제약에 따라 보상 최적화와 준수성을 균형 잡는 강화학습 프레임워크를 개발하는 것.
• 명시적인 규칙 정의 없이도 복잡하고 명시되지 않은 행동 규범을 따르도록 에이전트를 훈련시키는 데 도전하는 것.
• 모든 의사결정 단계에서 활성 정책이 투명해지도록 해석 가능성을 보장하는 것.
• 맥락 기반 밴딧을 통해 실시간으로 최적의 정책 혼합 전략을 학습함으로써 시연를 초월한 일반화를 가능하게 하는 것.
• 하이브리드 정책 선택 전략이 보상과 제약 준수 측면에서 개별 정책을 고정적으로 사용하는 것보다 우월한 성능을 보일 수 있음을 입증하는 것.

제안 방법

• 에이전트는 환경과의 상호작용을 통해 딥강화학습을 통해 보상 최적화 정책 πR을 학습한다.
• 에이전트는 규범 준수 행동의 전문가 시연를 기반으로 역강화학습(IRL)을 사용하여 제약 충족 정책 πC를 학습한다.
• 맥락 기반 밴딧 조율기(contextual bandit orchestrator)는 현재 상태와 환경 특징을 캡슐화한 맥락 벡터 Υ(s_t)를 기반으로 매 시간 단계에서 πR과 πC 사이를 선택한다.
• 밴딧은 보상과 제약 목표 간의 트레이드오프를 제어하는 무게 파라미터 λ를 고려하여 탐색과 이용을 균형 잡는 맥락 기반 톰슨 샘플링(CTS) 알고리즘을 사용한다.
• 조율기는 환경 보상과 제약 준수의 볼록 조합을 최대화하도록 훈련되며, 정책 선택의 관측된 결과에 따라 보상을 형상화한다.
• 시스템은 매 의사결정 단계에서 어떤 정책(πR 또는 πC)이 선택되었는지 로깅함으로써 실시간 해석 가능성을 제공한다.

실험 결과

연구 질문

• RQ1 명시적인 규칙 없이 행동 시연만 제공될 경우, 에이전트가 보상 최적화와 제약 준수를 균형 잡는 데 성공할 수 있는가?
• RQ2 보상 최적화 정책과 제약 준수 정책 사이를 동적으로 선택할 수 있는 투명하고 해석 가능한 메커니즘을 어떻게 설계할 수 있는가?
• RQ3 환경 맥락에 따라 정책 간 전환을 학습할 때 어떤 행동 패턴이 나타나는가?
• RQ4 조율기가 개별 정책보다 우월한 성능을 보이는 정책 조합을 발견할 수 있는가? (보상과 제약 준수 측면에서)
• RQ5 에이전트 행동에 질적 전환을 유도하는 무게 파라미터 λ의 임계값이 존재하는가? (예: 고위험 행동을 피하는 전환점)

주요 결과

• λ ≈ 0.215–0.22에서 에이전트는 고스트를 많이 먹는 행동(제약 위반)에서 거의 모두 피하는 행동으로 급격한 행동 전환을 보이며, 제약 민감도의 전환점임을 시사한다.
• λ > 0.22인 경우, 에이전트는 거의 완전히 고스트를 먹지 않으며, 유추된 제약에 강력한 준수성을 보여준다.
• 중간 수준의 λ 값(예: λ = 0.4)에서는 조율기가 매우 직관적인 전환 전략을 학습한다: 고스트가 공포 상태가 아닐 땐 πR을 사용하고, 고스트가 공포 상태가 되면 πC로 전환하여 취약 상태에서 위험을 최소화한다.
• 정책 전환 행동은 맥락 기반 적응성과 해석 가능성을 모두 확보하며, 에이전트가 매 시점에서 어떤 정책이 활성화되어 있는지 명확히 시사한다.
• 이 프레임워크는 실시간 맥락에 기반해 두 정책의 강점을 동적으로 조합함으로써 정책 혼합의 우수성을 입증하며, 정책을 고정적으로 사용하는 것보다 우수한 성능을 달성한다.
• 결과적으로 조율기는 인간과 유사한 위험 인식 의사결정을 반영하는 복잡하고 비트ivial한 혼합 전략을 학습할 수 있음을 보여준다.