[논문 리뷰] Adversarially Guided Actor-Critic

Yannis Flet-Berliac, Johan Ferret외 3명|arXiv (Cornell University)|2021. 02. 08.

Adversarial Robustness in Machine Learning참고 문헌 56인용 수 11

한 줄 요약

이 논문은 희박 보상과 프로시저럴로 생성된 환경에서 탐색을 향상시키기 위해 적대적 기반의 액터-크리틱 프레임워크인 Adversarially Guided Actor-Critic (AGAC)을 제안한다. 액터가 적대자를 속이도록 훈련시키고, 동시에 적대자가 액터의 정책을 모방하도록 함으로써, 다양하고 혁신적인 행동을 유도하여 최신 기법들에 비해 더 뛰어난 샘플 효율성과 어려운 탐색 과제에서의 성능을 달성한다.

ABSTRACT

Despite definite success in deep reinforcement learning problems, actor-critic algorithms are still confronted with sample inefficiency in complex environments, particularly in tasks where efficient exploration is a bottleneck. These methods consider a policy (the actor) and a value function (the critic) whose respective losses are built using different motivations and approaches. This paper introduces a third protagonist: the adversary. While the adversary mimics the actor by minimizing the KL-divergence between their respective action distributions, the actor, in addition to learning to solve the task, tries to differentiate itself from the adversary predictions. This novel objective stimulates the actor to follow strategies that could not have been correctly predicted from previous trajectories, making its behavior innovative in tasks where the reward is extremely rare. Our experimental analysis shows that the resulting Adversarially Guided Actor-Critic (AGAC) algorithm leads to more exhaustive exploration. Notably, AGAC outperforms current state-of-the-art methods on a set of various hard-exploration and procedurally-generated tasks.

연구 동기 및 목표

• 희박 보상과 프로시저럴로 생성된 환경에서의 샘플 비효율성과 열악한 탐색 문제를 해결하기 위해.
• 복잡하고 변화하는 환경에서 훈련된 에이전트의 일반화 능력과 행동 다양성 향상을 위해.
• 적대적 훈련이 내재적 호기심이나 카운트 기반 보너스에 의존하지 않고 탐색을 이끌 수 있는지 조사하기 위해.
• 제안된 적대적 정규화가 액터-크리틱 프레임워크에서 안정성과 확장성 면에서 어떻게 작용하는지 평가하기 위해.

제안 방법

• 세 번째 에이전트인 적대자를 도입하여, 액터의 행동 분포를 KL 발산 최소화를 통해 예측하는 것을 목표로 한다.
• 액터는 표준 강화학습 손실과 함께, 적대자의 예측에서 벗어나도록 유도하는 적대적 손실을 최소화하도록 훈련된다.
• 적대자는 자신의 행동 분포와 액터의 행동 분포 간의 KL 발산을 최소화하도록 훈련되어, 정책 행동을 식별하는 디스criminator 역할을 한다.
• 적대적 목적은 표준 액터-크리틱 손실과 결합되어, 작업 성능와 행동 다양성 간의 균형을 이루는 공동 최적화를 형성한다.
• 희박 보상 환경에서 탐색을 장려하기 위해, 적대자의 예측 오차에서 파생된 보너스 신호를 사용한다.
• 고정된(싱글턴) 환경과 프로시저럴로 생성된 환경에서 모두 프레임워크를 평가하여 일반화 능력과 탐색 효율성을 점검한다.

실험 결과

연구 질문

• RQ1 액터와 제3자 적대자 간의 적대적 일치가 강화학습에서 탐색을 향상시킬 수 있는가?
• RQ2 내재적 호기심과 카운트 기반 탐색과 비교할 때, 적대적 목적은 샘플 효율성과 커버리지 측면에서 어떻게 성능을 내는가?
• RQ3 적대자 기반의 정책 다양성이 새로운 프로시저럴로 생성된 환경에 대한 일반화 능력을 얼마나 향상시키는가?
• RQ4 특히 적대적 보너스 계수의 변화에 따라 훈련 과정의 안정성은 어떻게 유지되는가?
• RQ5 외부 보상이 없더라도 이 방법이 철저한 탐색을 가능하게 하는가?

주요 결과

• AGAC는 MiniGrid에서 어려운 탐색 과제의 범주에서 최신 기법들인 RIDE, AMiGo, RND, ICM, 카운트 기반 방법들을 능가하는 최고 성능을 달성했다.
• 보상 없이도 AGAC는 MultiRoomN10S6 환경에서 10개의 방을 모두 탐색했고, RIDE는 다섯 번째 방까지만 도달했으며, 다른 방법들은 더 비효율적으로 탐색했다.
• 싱글턴 환경에서도 백트래킹 및 시작점으로 되돌아오는 전략과 같은 다양한 비반복적 행동을 통해 철저한 탐색을 수행했다.
• 적대자가 행동 다양성을 효과적으로 이끌어낸 것으로 나타났으며, 마지막 10개 에피소드의 상태 방문 히트맵을 통해 각 에피소드에서 서로 다른 전략이 관찰되었다.
• 적대적 보너스 계수에 대해 중간 수준의 민감도를 보이며 안정적인 성능을 유지하여 실용적인 사용 가능성을 보였다.
• VizDoom 환경에서 적대적으로 유도된 보너스는 기준 내재적 호기심 방법들보다 뚜렷한 성능 향상을 이끌어냈다.