[논문 리뷰] Delegative Reinforcement Learning: learning to avoid traps with a little help

Vanessa Kosoy|arXiv (Cornell University)|2019. 07. 19.

Advanced Bandit Algorithms Research참고 문헌 8인용 수 6

한 줄 요약

이 논문은 Delegative Reinforcement Learning(DRL)이라는 프레임워크를 소개한다. 이 프레임워크는 에이전트가 인간 조언자에게 행동을 위임함으로써 강화학습에서 치명적인 '함정'을 피할 수 있도록 한다. 사후 분포 샘플링과 위임 서브루틴을 조합함으로써, 유한한 가설을 가진 무한 시간 할당, 비에피소딕 마르코프 결정 과정에서 조차도 선형 이외의 손실을 달성한다. 이는 자율 시스템이나 수술과 같은 고위험 응용 분야에 실용적인 해결책을 제공한다.

ABSTRACT

Most known regret bounds for reinforcement learning are either episodic or assume an environment without traps. We derive a regret bound without making either assumption, by allowing the algorithm to occasionally delegate an action to an external advisor. We thus arrive at a setting of active one-shot model-based reinforcement learning that we call DRL (delegative reinforcement learning.) The algorithm we construct in order to demonstrate the regret bound is a variant of Posterior Sampling Reinforcement Learning supplemented by a subroutine that decides which actions should be delegated. The algorithm is not anytime, since the parameters must be adjusted according to the target time discount. Currently, our analysis is limited to Markov decision processes with finite numbers of hypotheses, states and actions.

연구 동기 및 목표

• 비에피소딕 설정에서 복구 불가능한 상태(함정)로 인해 선형 손실이 발생하는 강화학습의 근본적 한계를 해결하기 위함.
• 함정의 존재나 반복적인 치명적 실수를 허용하지 않으면서도 함정을 피할 수 있는 학습 프레임워크를 개발하기 위함. 이는 실제 세계의 안전 중심 응용 분야에 필수적이다.
• 에이전트가 외부 조언자에게 행동을 위임할 수 있는 설정을 형식화하고 분석함으로써, 유한한 상태, 행동 및 가설을 가진 마르코프 결정 과정에서의 안전한 탐색을 가능하게 하기 위함.
• 지속적이고 무한 시간 할당의 강화학습 설정에서 기하학적 시간 할인을 고려할 때, 위임을 안전성 메커니즘으로 사용하여 비-anytime 알고리즘의 손실 한계를 유도하기 위함.

제안 방법

• 에이전트가 가능한 MDP에 대한 사후 신뢰도 분포에서 가설을 샘플링하는 Posterior Sampling Reinforcement Learning(PSRL)의 변종이다.
• 위임 서브루틴은 언제 조언자를 호출할지를 결정한다: 가설 하에서 모든 행동의 기대 효용이 0으로 할당될 경우, 또는 불확실성이 높을 경우.
• 시간선은 $ O((1-\nu)^{-1/4}) $ 길이의 간격으로 나뉘며, 여기서 $ \nu = \gamma $는 시간 할인 요소이다. 이는 주기적인 신뢰도 갱신과 위임 결정을 가능하게 한다.
• 에이전트는 유한한 MDP 가설 집합에 대한 신뢰도 분포를 유지하기 위해 베이지안 갱신 메커니즘을 사용하며, 현재 신뢰도 하에서 모든 행동의 기대 효용이 너무 불확실하거나 위험하다고 판단될 경우에만 위임한다.
• 손실은 정보 이론적 도구, 특히 에이전트의 행동과 진짜 가설 간의 상호정보량을 사용하여 제한한다. 이는 탐색과 위임 빈도를 제어한다.
• 분석은 농도 부등식과 엔트로피 차이를 활용하여, 신뢰도 갱신 속도와 가설 수에 따라 기대 손실을 제한한다.

실험 결과

연구 질문

• RQ1 함정이 존재하는 비에피소딕, 무한 시간 할당 MDP 설정에서 강화학습 에이전트가 선형 이외의 손실을 달성할 수 있는가?
• RQ2 인간 조언자에게 위임하는 것이 강화학습 프레임워크에 어떻게 공식적으로 통합될 수 있으며, 이를 통해 복구 불가능한 실수를 방지할 수 있는가?
• RQ3 유한한 가설 공간 하에서 후보 가설 샘플링 전략과 위임을 조합할 경우 이론적으로 달성 가능한 손실 한계는 무엇인가?
• RQ4 에이전트가 불확실성으로 인해 모든 함정을 피할 수 없더라도, 계획 수평에 대해 손실이 선형 이외로 유지될 수 있는가?
• RQ5 위임 메커니즘이 학습 과정에서 수렴 속도와 정보 확보에 어떤 영향을 미치는가?

주요 결과

• 제안된 DRL 알고리즘은 $ O\left(\bar{\mathfrak{t}} \cdot \frac{1-\gamma}{1-\gamma^T} + \sqrt{\frac{(1-\gamma^T)\ln N}{\eta}} + \frac{(1-\gamma^T)\ln N}{\eta^2 \epsilon} \right) $ 의 손실 한계를 달성한다. 여기서 $ \eta $는 탐색을 제어하며, $ \bar{\mathfrak{t}} $ 는 불확실성을 해소하는 데 필요한 기대 시간이다.
• 에이전트가 신뢰할 수 있는 조언자에게 위임할 수 있다면, 함정이 존재하더라도 에피소드 수 $ N $ 에 대해 손실이 선형 이외로 증가한다.
• 알고리즘은 시간 할인 요소 $ \gamma $ 를 기반으로 타겟 시간 할인에 맞게 조정 매개변수(예: 간격 길이 $ T $)가 필요하므로 anytime이 아니지만, 실용적 구현에는 문제가 되지 않는다.
• 분석 결과, 위임이 에이전트의 신뢰도 분포가 매우 불확실할 때 가장 효과적이며, 행동과 가설 간의 상호정보량이 신뢰도 갱신 속도와 손실을 제어한다.
• 핵심 통찰은 필요할 때만 위임함으로써 에이전트는 함정을 피하면서도 효율적으로 학습할 수 있으며, 손실은 조언자로부터의 정보 획득 속도로 제한된다.
• 이 프레임워크는 유한한 MDP, 유한한 가설, 상태 및 행동에 대해 공식적으로 검증되었으며, 실제 응용 분야에서의 안전한 강화학습에 대한 이론적 기반을 제공한다.