[논문 리뷰] Differential Advising in Multi-Agent Reinforcement Learning

Dayong Ye, Tianqing Zhu외 3명|arXiv (Cornell University)|2020. 11. 07.

Privacy-Preserving Technologies in Data참고 문헌 25인용 수 4

한 줄 요약

이 논문은 다중 에이전트 강화 학습(MARL)에서 미분적 조언(DA-RL)을 제안한다. 이는 차별적 비밀유지 원칙을 활용하여 약간 다른 상태에서의 조언을 사용할 수 있도록 한다. 기존 방법의 엄격한 상태 일치 요구 조건을 완화함으로써, 복잡한 환경에서 학습 효율성을 향상시키며, 이산 및 연속 설정 모두에서 베이스라인 방법보다 빠른 수렴 속도와 더 나은 성능을 달성한다.

ABSTRACT

Agent advising is one of the main approaches to improve agent learning performance by enabling agents to share advice. Existing advising methods have a common limitation that an adviser agent can offer advice to an advisee agent only if the advice is created in the same state as the advisee's concerned state. However, in complex environments, it is a very strong requirement that two states are the same, because a state may consist of multiple dimensions and two states being the same means that all these dimensions in the two states are correspondingly identical. Therefore, this requirement may limit the applicability of existing advising methods to complex environments. In this paper, inspired by the differential privacy scheme, we propose a differential advising method which relaxes this requirement by enabling agents to use advice in a state even if the advice is created in a slightly different state. Compared with existing methods, agents using the proposed method have more opportunity to take advice from others. This paper is the first to adopt the concept of differential privacy on advising to improve agent learning performance instead of addressing security issues. The experimental results demonstrate that the proposed method is more efficient in complex environments than existing methods.

연구 동기 및 목표

• 기존의 에이전트 조언 방법이 조언 전달을 위해 동일한 상태를 요구하는 한계를 해결하기 위해.
• 정확한 상태 일치가 드물거나 비현실적인 복잡한 다중 에이전트 환경에서의 학습 효율을 향상시키기 위해.
• 이웃하거나 유사한 상태에서 생성된 조언을 통해 에이전트가 이점을 얻을 수 있도록 하여 조언의 가용성을 증가시키기 위해.
• 차별적 비밀유지를 보안 목적 외에, 상태에 강건한 조언 전달을 통해 학습 성능을 향상시키기 위해 응용하기 위해.
• 다양한 환경에서의 실험적 평가를 통해 제안된 방법의 효과성을 입증하기 위해.

제안 방법

• 이 방법은 유계 상태 차이 측도를 통해 정의된 약간 다른 상태 간에도 조언을 재사용할 수 있도록 하는 미분적 조언 메커니즘을 도입한다.
• 작은 입력 변화가 거의 동일한 출력을 생성하는 차별적 비밀유지의 핵심 원리를 적용하여, 근처 상태에서 온 조언이 목표 상태에서도 약간 유효함을 보장한다.
• 두 상태 간 다름이 있는 차원 수를 기반으로 상태 차이 측도를 정의하고, '근접성'을 판단하기 위한 임계값을 설정한다.
• 상태 차이가 사전 정의된 범위 내에 있을 경우에만 조언을 사용하여 관련성과 성능 저하를 최소화한다.
• 유사도에 따라 가중치가 부여된 가중 평균 기반의 다중 에이전트 조언 통합 방식을 적용한다.
• 에이전트들이 정책을 학습하면서 동적으로 다른 이들의 조언을 접근하고 적용할 수 있도록 하는 MARL 프레임워크에 통합한다.

실험 결과

연구 질문

• RQ1 에이전트들이 현재 상태와 완전히 일치하지 않는 상태에서 생성된 조언을 효과적으로 활용할 수 있는가?
• RQ2 엄격한 상태 일치 요구 조건을 완화함으로써 복잡한 환경에서 학습 속도와 성능에 어떤 영향을 미치는가?
• RQ3 차별적 비밀유지 원리를 보안 보호를 넘어서 다중 에이전트 강화 학습의 조언 전달 향상에 어떻게 재활용할 수 있는가?
• RQ4 기존의 조언 기반 및 비조언 기반의 베이스라인 방법과 비교할 때 제안된 방법의 수렴 속도와 최종 성능은 어떠한가?
• RQ5 상태 유사성 임계값의 설정이 조언 품질과 학습 효율성에 어떤 영향을 미치는가?

주요 결과

• 간단한 환경에서는 DA-RL이 SA-RL보다 약 10% 빠르게 수렴했고, 표준 RL보다는 20% 더 빠르게 수렴했다.
• 복잡한 환경에서는 DA-RL이 약 500회 반복 만에 수렴했고, SA-RL은 600회, 표준 RL은 900회였다.
• DA-RL은 표준 RL 대비 평균 목표 도달 시간 단위를 15~20% 감소시켰고, SA-RL 대비로는 40% 감소시켰다.
• 동적 목표 시나리오에서는 DA-RL이 SA-RL보다 평균 보상에서 10~15% 높았고, 표준 RL 대비로는 20~30% 높았다.
• 새로운 목표가 동적으로 도입되더라도 DA-RL은 평균 목표 도달 시간 단위에서 안정적인 수렴을 유지하며 뛰어난 성능을 보였다.
• 실험 결과는 미분적 조언이 고차원적이고 복잡한 환경에서 학습 효율성과 확장성을 크게 향상시킨다는 것을 확인시켰다.