[논문 리뷰] Deception in Social Learning: A Multi-Agent Reinforcement Learning Perspective

Paul Chelarescu|arXiv (Cornell University)|2021. 06. 09.

Experimental Behavioral Economics Studies참고 문헌 68인용 수 8

한 줄 요약

이 논문은 다중 에이전트 강화 학습(MARL) 내 사회적 학습에서의 속임수를 조사한다. 여기서 에이전트들은 상호 간의 보상 함수를 재구성하여 협력을 촉진한다. 논문은 에이전트가 상대의 학습 과정을 조작할 때 속임수가 잠재하는 심각한 위험임을 규명하며, 향후 신뢰할 수 있고 견고한 사회적 학습 시스템을 구축하기 위한 핵심적인 열린 문제들과 가정을 제시한다.

ABSTRACT

Within the framework of Multi-Agent Reinforcement Learning, Social Learning is a new class of algorithms that enables agents to reshape the reward function of other agents with the goal of promoting cooperation and achieving higher global rewards in mixed-motive games. However, this new modification allows agents unprecedented access to each other's learning process, which can drastically increase the risk of manipulation when an agent does not realize it is being deceived into adopting policies which are not actually in its own best interest. This research review introduces the problem statement, defines key concepts, critically evaluates existing evidence and addresses open problems that should be addressed in future research.

연구 동기 및 목표

• 다중 에이전트 강화 학습(MARL) 내 사회적 학습에서 속임수가 심각하고 아직 탐색되지 않은 위험임을 규명하는 것.
• 직접적인 보상 조정이 협력적-경쟁적 환경에서 특히 혼합된 동기의 상황에서 어떻게 조작을 가능하게 하는지 분석하는 것.
• 신뢰할 수 있고 확장 가능한 협력적 AI 시스템을 구축하는 데 핵심 도전 과제로 삼는 사회적 인센티브 내 속임수 문제를 프레임화하는 것.
• 인센티브 기반 협력 메커니즘의 신뢰성, 투명성, 견고성에 관한 열린 연구 질문을 부각하는 것.
• 향후 사회적 학습 다중 에이전트 시스템 내에서 속임수를 탐지하고 방지하며 모델링하는 데 기초를 마련하는 것.

제안 방법

• 동료 평가에 기반해 상호 간의 보상 함수를 재구성할 수 있는 다중 에이전트 강화 학습(MARL) 프레임워크로서의 사회적 학습을 도입한다.
• 에이전트가 상대의 학습을 속임으로써 열악한 정책을 채택하게 하는 보상 조작의 관점에서 속임수를 분석한다.
• 다른 이들이 인cent라이브에 반응하여 어떻게 학습할지를 예측하는 계획형 에이전트 모델을 제안한다.
• 거짓 행동 탐지 및 방지에 있어 주요 과제로 비정적 공동 정책을 고려한다.
• 정보 비대칭성과 자기대립(self-play)을 통해 속임수를 가진 상대를 모델링하고 견고한 대응을 구축하는 방법을 탐색한다.
• 자기대립 기반 훈련이 협력 게임에서 새로운 속임수를 가진 파트너에 대해 일반화하는 데 한계를 보임을 분석한다.

실험 결과

연구 질문

• RQ1 에이전트들이 보상 함수를 조작함으로써 자신들의 최선의 이익이 아닌 정책을 채택하도록 속일 수 있는 방법은 무엇인가?
• RQ2 에이전트들이 상호 간의 학습 과정을 재구성할 때, 어떻게 신뢰성과 투명성을 확보할 수 있는가?
• RQ3 이질적이고 혼합된 동기의 환경에서 협력적 에이전트는 어떻게 속임수를 탐지하고 방어할 수 있는가?
• RQ4 다중 에이전트 학습에서의 비정적 성격이 속임수 행동 탐지에 어떻게 복잡성을 더하는가?
• RQ5 자기대립 기반 훈련이 새로운 적대적 에이전트의 속임수에 대응할 수 있는 정책을 생성할 수 있는가?

주요 결과

• 사회적 학습에서의 속임수는 에이전트가 상대의 보상 함수를 조작해 자기 중심적인 정책을 촉진함으로써 발생하며, 이는 조작의 고위험 경로를 만든다.
• 현재의 사회적 학습 메커니즘은 동일한 에이전트를 전제로 하지만, 목적이 다름에 따라 이질적인 그룹에서는 속임수가 주요 문제로 대두된다.
• 다른 이들의 학습을 예측하고 조정하는 계획형 에이전트 모델은 모델이 투명하지 않거나 에이전트가 인센티브를 거부할 수 없는 경우 윤리적 위험이 발생시킨다.
• 자기대립 기반 훈련은 새로운 파트너에 대해 일반화되지 못하는 고유한 정책을 생성할 수 있어, 속임수에 대한 견고성에 제한을 둔다.
• 동시 학습에서의 비정적 성격은 속임수 탐지에 복잡성을 더하며, 향후 방법론은 동적으로 변화하는 공동 정책을 고려해야 한다.
• 비대칭 정보 게임에서의 견고성 기법(예: 상대 모델링)은 속임수 탐지에 확장할 수 있지만, 속임수가 자기대립을 통해 완벽하게 재구성될 수 있을 때에만 가능하다.