[논문 리뷰] Influencing Towards Stable Multi-Agent Interactions

Woodrow Z. Wang, Andy Shih외 2명|arXiv (Cornell University)|2021. 10. 05.

Reinforcement Learning in Robotics참고 문헌 43인용 수 7

한 줄 요약

이 논문은 다중 에이전트 강화학습에서 상대의 전략을 사전에 영향을 주기 위해 학습된 잠재 동역학 모델을 활용하여 상호작용을 안정화시키는 방법을 제안한다. 이는 더 효율적이고 샘플 효율적인 강화학습을 가능하게 한다. 주요 기여는 상대의 전략을 안정화시키도록 유도하는 비지도 안정성 보상이며, 자율주행 및 로봇 조작과 같은 시뮬레이션 환경에서 작업 성능을 크게 향상시킨다.

ABSTRACT

Learning in multi-agent environments is difficult due to the non-stationarity introduced by an opponent's or partner's changing behaviors. Instead of reactively adapting to the other agent's (opponent or partner) behavior, we propose an algorithm to proactively influence the other agent's strategy to stabilize -- which can restrain the non-stationarity caused by the other agent. We learn a low-dimensional latent representation of the other agent's strategy and the dynamics of how the latent strategy evolves with respect to our robot's behavior. With this learned dynamics model, we can define an unsupervised stability reward to train our robot to deliberately influence the other agent to stabilize towards a single strategy. We demonstrate the effectiveness of stabilizing in improving efficiency of maximizing the task reward in a variety of simulated environments, including autonomous driving, emergent communication, and robotic manipulation. We show qualitative results on our website: https://sites.google.com/view/stable-marl/.

연구 동기 및 목표

• 변하는 상대 전략으로 인해 발생하는 비정적 상태 문제를 다중 에이전트 강화학습에서 해결한다.
• 복잡한 전략 역학을 모델링하는 대신 상대 전략을 안정화시킴으로써 에이전트의 학습 알고리즘에 가해지는 부담을 줄인다.
• 에이전트가 상대의 전략이 안정된 상태로 수렴하도록 사전에 영향을 주는 방법을 개발하여 장기적인 정책 학습을 단순화한다.
• 학습된 잠재 표현을 기반으로 한 비지도 안정성 보상 설계를 통해 명시적 지도 없이도 에이전트를 안내한다.
• 상대 전략을 안정화시키는 것이 다양한 시뮬레이션 환경에서 작업 보상 최대화와 샘플 효율성 향상에 기여함을 입증한다.

제안 방법

• 비지도 표현 학습을 통해 상대 전략의 저차원 잠재 표현을 학습한다.
• 에이전트의 행동에 따라 상대의 잠재 전략이 어떻게 변화하는지를 모델링한다.
• 잠재 공간에서의 전략 변화 빈도와 일관성에 기반한 비지도 안정성 보상을 정의한다.
• 작업 보상에 안정성 보상을 통합하여, 에이전트가 작업 성능을 최대화하고 상대의 행동을 안정화시키도록 훈련한다.
• 잠재 전략 표현의 품질을 향상시키고 안정성 신호의 노이즈를 줄이기 위해 대조 학습 목표를 적용한다.
• 이중 또는 연속 잠재 변수를 포함한 환경, 특히 전략 변화를 부분적으로 관찰할 수 있는 설정에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 비정적 다중 에이전트 환경에서 안정성 보상에 의한 사전적 영향력이 학습 효율성을 향상시키는가?
• RQ2 학습된 잠재 전략 동역학에 기반한 비지도 안정성 보상은 상대 행동의 안정화에 얼마나 효과적인가?
• RQ3 상대 전략을 안정화시키는 것이 반응형 또는 비안정화 기반 베이스라인에 비해 더 나은 작업 보상 최대화를 이끌어내는가?
• RQ4 빈번한 전략 전환과 상대 전략 변화를 부분적으로 관찰할 수 있는 환경에서 이 방법의 성능은 어떠한가?
• RQ5 진짜 상대 전략이 직접 관찰되지 않는 상황에서도 에이전트가 잠재 전략 표현에 의존하여 안정화를 학습할 수 있는가?

주요 결과

• 원형(3개 목표) 환경에서 SILI는 오라클(진짜 상대 전략에 접근 가능)과 동일한 최고의 작업 보상을 달성했다.
• 원형(8개 목표) 환경에서 SILI는 복잡도가 증가한 다수의 상대 전략 상황에서도 성공적으로 상대를 안정화시켰고, 모든 베이스라인을 압도했다.
• 원형(불균형) 환경에서 SILI는 불안정한 근접 전략을 피하고 안정화를 달성했으며, 다른 베이스라인은 불안정한 전략을 탐색하는 데 치중하여 안정화에 실패했다.
• 주행 환경에서 SILI는 유일하게 충돌을 0회로 유지하며, 베이스라인에 비해 뚜렷이 뛰어난 성능을 보였다.
• 부분 관찰이 가능한 회피 경로 말하기-청취 환경에서 SILI는 약 250회의 상호작용 후 상대 전략을 안정화시키며 지속적인 높은 작업 보상을 달성했고, LILI는 일시적으로 안정화되었지만 작업 성능이 하락했다.
• 노이즈가 있거나 연속적인 잠재 표현이 사용되더라도 안정성 보상은 효과적이었으며, 이는 이산 잠재 변수가 더 안정적인 학습 신호와 더 나은 성능을 제공함을 시사한다.