[논문 리뷰] Dynamic Safe Interruptibility for Decentralized Multi-Agent Reinforcement Learning

El Mahdi El Mhamdi, Rachid Guerraoui외 2명|arXiv (Cornell University)|2017. 04. 10.

Data Stream Mining Techniques인용 수 18

한 줄 요약

이 논문은 분산형 다중 에이전트 강화학습(MARL) 시스템에서 에이전트가 인간의 간섭을 피하려는 학습을 하지 않도록 보장하기 위한 새로운 프레임워크인 동적 안전 간섭 가능성을 도입한다. 처리 함수 $P_{INT}$ 를 통한 간섭 인지 관찰 정제를 통해, 에이전트가 간헐적으로 간섭을 받더라도 학습 동역학과 무한 탐색을 유지함으로써, 에이전트 간의 통신이나 조율 없이도 안전한 행동을 보장한다.

ABSTRACT

In reinforcement learning, agents learn by performing actions and observing their outcomes. Sometimes, it is desirable for a human operator to extit{interrupt} an agent in order to prevent dangerous situations from happening. Yet, as part of their learning process, agents may link these interruptions, that impact their reward, to specific states and deliberately avoid them. The situation is particularly challenging in a multi-agent context because agents might not only learn from their own past interruptions, but also from those of other agents. Orseau and Armstrong defined \emph{safe interruptibility} for one learner, but their work does not naturally extend to multi-agent systems. This paper introduces extit{dynamic safe interruptibility}, an alternative definition more suited to decentralized learning problems, and studies this notion in two learning frameworks: extit{joint action learners} and extit{independent learners}. We give realistic sufficient conditions on the learning algorithm to enable dynamic safe interruptibility in the case of joint action learners, yet show that these conditions are not sufficient for independent learners. We show however that if agents can detect interruptions, it is possible to prune the observations to ensure dynamic safe interruptibility even for independent learners.

연구 동기 및 목표

• 분산형 다중 에이전트 강화학습에서, 다른 에이전트의 간섭을 관찰함으로써 간섭을 피하려는 학습이 발생할 수 있는 안전 간섭 가능성의 도전 과제를 다루기.
• 단일 에이전트 안전 간섭 가능성 정의의 한계를 극복하기 위해, 공동 적응 및 타 에이전트의 간섭으로부터 간접적으로 학습하는 상황에서 실패하는 다중 에이전트 환경에서의 문제를 해결하기.
• 간섭이 있더라도 학습 안정성과 최적 정책 수렴을 보장하는 새로운 정의인 동적 안전 간섭 가능성을 제안하기.
• 공동 행동 학습자에서 동적 안전 간섭 가능성을 위한 충분 조건을 확립하고, 간섭 인지 처리를 통해 독립 학습자에서의 실현 가능성을 보여주기.
• 간섭 신호를 사용하여 유해한 학습 데이터를 정제하고, 독립 학습자에서 안전한 학습 동역학을 복원할 수 있음을 보여주기.

제안 방법

• 동적 안전 간섭 가능성을 정의하여, 간섭이 있을 경우에 학습된 정책의 기대값이 간섭이 없는 경우의 최적 정책과 일치함을 보장하는 성질로 정의한다.
• 간섭 신호 $\Theta_t$ 를 기반으로, 어느 에이전트라도 간섭을 받은 단계에서의 관찰을 제거하는 간섭 처리 함수 $P_{INT}$ 를 도입한다.
• 중립적 업데이트 규칙을 사용하고, 탐색 확률의 수열 $\epsilon$ 이 간섭과 호환됨을 보장한다.
• 레마 1을 활용하여, 상태와 행동 조건 하에서의 전이 확률이 간섭 역사와 무관하게 정제된 수열에서도 유지됨을 증명한다.
• 에이전트가 각 단계에서 간섭 신호를 수신한다고 가정함으로써, 이 프레임워크를 독립 학습자에 적용한다. 이를 통해 간섭된 전이와 정상 전이를 구분할 수 있다.
• 정리 4를 증명한다: $P_{INT}$ 와 호환되는 $\epsilon$ 수열을 갖는 독립 학습자는 동적 안전 간섭 가능성을 달성한다.

실험 결과

연구 질문

• RQ1 통신이 없는 분산형 다중 에이전트 강화학습 시스템에 안전 간섭 가능성을 의미 있게 확장할 수 있는가?
• RQ2 표준 안전 간섭 가능성 정의가 왜 다중 에이전트 환경에서 실패하는가? 특히 에이전트가 상호 공조하거나 서로의 간섭을 관찰할 경우에 대해 설명하라.
• RQ3 독립 학습자가 정보를 공유하지 않더라도 어떤 조건에서 동적 안전 간섭 가능성을 달성할 수 있는가?
• RQ4 어떻게 간섭 신호를 활용하여 학습 동역학을 수정하여, 에이전트가 간섭을 악용하거나 피하려는 학습을 하지 않도록 할 수 있는가?
• RQ5 간섭이 있는 MARL 환경에서도 무한 탐색과 한 단계 학습 동역학을 유지할 수 있는가?

주요 결과

• 동적 안전 간섭 가능성은, 다른 에이전트의 간섭을 통해 학습할 수 있는 분산형 다중 에이전트 시스템에 대해 안전 간섭 가능성의 필수적이고 더 현실적인 확장이다.
• 공동 행동 학습자에서는 동적 안전 간섭 가능성을 달성하기 위한 충분 조건이 존재하며, 간섭이 있더라도 최적 정책 학습이 유지된다.
• 독립 학습자에서는 타 에이전트의 간섭 패턴에 의해 간접적인 영향을 받기 때문에, 표준 안전 간섭 가능성 정의만으로는 부족하다.
• 간섭 신호가 가용할 경우, $P_{INT}$ 를 통한 간섭 관찰 정제로 인해 독립 학습자에서 동적 안전 간섭 가능성이 복원된다.
• 레마 1은 정제 후에도 조건부 전이 확률이 변화하지 않음을 증명하여, 학습 동역학이 간섭 역사에 의해 편향되지 않음을 보장한다.
• 정리 4는 $P_{INT}$, 중립적 업데이트 규칙, 호환되는 $\epsilon$ 수열을 갖는 독립 학습자가 동적 안전 간섭 가능성을 달성함을 확립한다.