[논문 리뷰] Opponent Aware Reinforcement Learning

Víctor Gallego, Roi Naveiro외 2명|arXiv (Cornell University)|2019. 08. 22.

Reinforcement Learning in Robotics참고 문헌 40인용 수 7

한 줄 요약

이 논문은 강화학습 환경에서 보상 신호를 조작하는 적대적 행위자를 모델링하기 위해 위협적 마르코프 결정과정(TMDPs)을 도입한다. 수준-$k$ 사고 프레임워크와 예측 기반 Q-학습 알고리즘을 제안하여 적대적 환경에서의 성능을 향상시켰으며, 보안 게임과 격자망에서 최신 기술인 WoLF-PHC를 능가한다.

ABSTRACT

We introduce Threatened Markov Decision Processes (TMDPs) as an extension of the classical Markov Decision Process framework for Reinforcement Learning (RL). TMDPs allow suporting a decision maker against potential opponents in a RL context. We also propose a level-k thinking scheme resulting in a novel learning approach to deal with TMDPs. After introducing our framework and deriving theoretical results, relevant empirical evidence is given via extensive experiments, showing the benefits of accounting for adversaries in RL while the agent learns

연구 동기 및 목표

• 보안 중심 응용 분야에서 보상 신호를 조작하는 적대적 행위자에 노출된 강화학습 에이전트의 취약성을 해결한다.
• 순차적 의사결정 과정에서 보상 생성 과정에 발생하는 적대적 간섭을 공식화한 프레임워크를 개발한다.
• 상대방의 행동을 예측 모델링을 통해 반영하는 학습 알고리즘을 설계한다.
• 행렬 게임과 격자망을 포함한 다양한 적대적 환경에서 접근 방식의 효과성을 입증한다.
• 비정적, 적대적 강화학습 환경에서 기존 최신 기술 알고리즘을 능가하는 강인하고 일반화 가능한 방법을 제공한다.

제안 방법

• 표준 MDP의 확장으로 적대적 행위자가 보상 신호에 간섭하는 상황을 모델링하기 위해 위협적 마르코프 결정과정(TMDPs)을 제안한다.
• 에이전트가 상대방의 사고 깊이를 모델링할 수 있도록 수준-$k$ 사고 체계를 도입하여 적대적 행동을 순환적으로 예측할 수 있도록 한다.
• 베이지안 업데이트와 무시 요소를 사용하여 상대방 정책에 대한 동적 믿음을 유지하는 예측 기반 Q-학습 알고리즘(FP-Q)을 개발한다.
• 예측된 상대의 전략을 시간에 따라 정교화하기 위해 모델 평균화와 지수 평활화를 적용한다.
• 상대방의 정책에 대한 불확실성을 모델링하기 위해 베타 사전 분포를 사용하며, 상호작용 중에 베이지안 추론을 통해 믿음을 갱신한다.
• 상대방의 결정을 확률 변수로 간주하고 예측된 분포를 활용하는 적대적 리스크 분석(ARA) 원리를 통합하여 의사결정 과정에 불확실성을 반영한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 순차적 의사결정 과정에서 보상 신호를 조작하는 적대적 행위자에 강건한 강화학습 에이전트를 만들 수 있는가?
• RQ2 수준-$k$ 사고를 통해 상대방의 전략적 사고를 모델링하면 적대적 환경에서의 학습 성능에 얼마나 기여하는가?
• RQ3 예측 기반 Q-학습 접근 방식은 보안 중심 강화학습 과제에서 표준 Q-학습과 WoLF-PHC를 능가할 수 있는가?
• RQ4 이러한 프레임워크는 적대적 환경에서 하이퍼파rameter 설정과 보상 스케일링에 얼마나 민감한가?
• RQ5 확률적 상대방 모델링은 비정적 환경에서 더 안정적이고 높은 성능의 정책을 도출하는 데 기여하는가?

주요 결과

• 최적의 하이퍼파rameter 설정 하에서 공간 격자망 환경에서 FP-Q 학습 알고리즘이 수준-$k$ 사고를 적용해 평균 보상 $48.53 \pm 6.82$를 달성했으며, 기준선 방법들보다 뚜렷이 뛰어난 성능을 보였다.
• 하이퍼파ram터 변화에 대한 민감도가 낮아, 다양한 학습률과 탐색 스케줄 설정에서도 평균 보상이 항상 $40$ 이상 유지되어 강인함을 입증했다.
• 적대자에 대한 보상 스케일링이 다르더라도(예: $\{-1,1\}$, $\{0,1\}$) 높은 성능 유지로 보상 크기의 영향에 민감하지 않으며 스케일링 가정에 강인함을 보였다.
• 반복 행렬 게임(IPD, ISH, IC)에서 FP-Q 학습자는 수준-$k$ 사고를 적용해 독립적 Q-학습과 WoLF-PHC에 비해 더 뛰어난 수렴성과 안정성을 보였다.
• ε-그리디가 아닌 소프트맥스 정책을 사용해도 성능 저하가 발생하지 않아, 정책 표현의 유연성이 높다는 점을 확인했다.
• AI 안전 격자망 환경에서의 실험 결과, FP-Q 에이전트가 독립적 Q-학습자보다 일관되게 뛰어난 성능을 보였으며, 특히 적대자가 에이전트를 차단하거나 오도할 수 있는 공간형 변형에서 두각을 나타냈다.