[논문 리뷰] Decentralised Norm Monitoring in Open Multi-Agent Systems

Natasha Alechina, Joseph Y. Halpern외 2명|arXiv (Cornell University)|2016. 02. 22.

Auction Theory and Applications참고 문헌 23인용 수 4

한 줄 요약

이 논문은 가상 토큰으로 보상하는 스크립 기반 인cent라이브를 사용하여 개방형 다중 에이전트 시스템에서 탈중앙화된 규범 모니터링 메커니즘을 제안한다. 에이전트들은 자체적으로 규범 위반 여부를 점검하고, 위반을 발견하면 가상 토큰으로 보상받는다. 이는 실수로 위반하는 상황에서는 완벽한 시행이 균형에서 달성 가능하며, 전략적으로 위반하는 상황에서는 위반 확률을 임의로 작게 만들 수 있음을 증명한다. 시뮬레이션 결과, 1,000명의 에이전트로 구성된 시스템에서도 안정적인 토큰 분포로의 빠른 수렴이 확인되었다.

ABSTRACT

We consider the problem of detecting norm violations in open multi-agent systems (MAS). We show how, using ideas from scrip systems, we can design mechanisms where the agents comprising the MAS are incentivised to monitor the actions of other agents for norm violations. The cost of providing the incentives is not borne by the MAS and does not come from fines charged for norm violations (fines may be impossible to levy in a system where agents are free to leave and rejoin again under a different identity). Instead, monitoring incentives come from (scrip) fees for accessing the services provided by the MAS. In some cases, perfect monitoring (and hence enforcement) can be achieved: no norms will be violated in equilibrium. In other cases, we show that, while it is impossible to achieve perfect enforcement, we can get arbitrarily close; we can make the probability of a norm violation in equilibrium arbitrarily small. We show using simulations that our theoretical results hold for multi-agent systems with as few as 1000 agents---the system rapidly converges to the steady-state distribution of scrip tokens necessary to ensure monitoring and then remains close to the steady state.

연구 동기 및 목표

• 중앙 집중식 모니터링이 불가능하고, 에이전트의 이동성과 신원 변경으로 인해 벌금이 시행 불가능한 개방형 다중 에이전트 시스템에서 규범 시행 문제를 해결하기 위해.
• 외부 시행이나 벌금에 의존하지 않고도 에이전트들이 자발적으로 다른 이의 규범 위반 여부를 점검하도록 유도하는 인센티브 호환 메커니즘을 설계하기 위해.
• 에이전트들이 개인적 이득을 위해 전략적으로 규범을 위반할 수 있음에도 불구하고, 균형 상태에서 규범 위반을 최소화하거나 완전히 제거할 수 있도록 보장하기 위해.
• 에이전트들이 협력하여 모니터링 인센티브를 약화시키려는 시도에 저항할 수 있도록 시스템이 안정적이고 내구성이 있어야 하며, 스크립 토큰의 안정된 분포로 수렴하여 모니터링 행동을 지속할 수 있도록 보장하기 위해.
• 1,000명의 에이전트로 구성된 시스템에서도 균형 상태로의 빠른 수렴이 관찰되는 시뮬레이션을 통해 이론적 결과를 검증하기 위해.

제안 방법

• 콘텐츠를 게시하는 데는 토큰이 소모되고, 규범 위반을 탐지하면 토큰을 수령하는 스크립 시스템을 통해 에이전트들이 모니터링을 유도한다.
• 임계값 전략을 사용한다: 에이전트는 토큰을 정해진 수 이하로 보유할 경우에만 자발적으로 모니터링에 참여하며, 이는 자발적 참여자 풀이 안정적으로 유지됨을 보장한다.
• 마르코프 체인 모델을 사용하여 에이전트 간 토큰 분포의 확률적 동역학을 분석하며, 가역성과 최대 엔트로피 가정을 통해 안정된 분포로의 수렴을 보장한다.
• 시스템은 m-저항성(m-resilient)으로 설계되어, 최대 m명의 에이전트로 구성된 연합이 전략적 조정을 통해 유익을 증가시킬 수 없음을 보장한다.
• 벌금이 아닌 서비스 접근 수수료(스크립)에서 인센티브를 도출함으로써, 신원을 변경하고 재가입할 수 있는 개방형 시스템에서도 유의미한 시스템이 되도록 한다.
• 이론적 분석 결과, 전략적 상황에서는 매개변수 조정을 통해 위반 확률을 임의로 작게 만들 수 있으며, ε-내쉬 균형을 달성할 수 있음을 입증한다.

실험 결과

연구 질문

• RQ1 벌금이나 중앙 집중식 모니터링에 의존하지 않고도 개방형 다중 에이전트 시스템에서 규범 위반을 방지할 수 있는가?
• RQ2 에이전트들이 새로운 신원으로 퇴출 후 재가입할 수 있는 상황에서, 서로의 규범 위반 여부를 점검하도록 유도하는 방법은 무엇인가?
• RQ3 의도적으로 위반하고 이윤을 극대화하려는 전략적 행동을 취하는 에이전트가 존재하는 탈중앙화된 시스템에서 완벽한 규범 시행이 가능할 수 있는가?
• RQ4 유한 시간 내에 모니터링 인센티브(스크립 토큰)의 안정된 분포로 수렴하는 조건은 무엇인가?
• RQ5 모니터링 인센티브를 약화시키려는 목적의 에이전트 간 협력에 대해 메커니즘이 얼마나 강건한가?

주요 결과

• 실수로 위반하는 상황에서는 규범 위반이 발생하지 않으며, 충분한 모니터링 유인 덕분에 균형 상태에서 완벽한 시행이 달성된다.
• 전략적으로 위반하는 상황에서는 완벽한 시행이 불가능하지만, 위반 확률을 임의로 작게 만들 수 있으며(ε > 0 이하), 이는 ε-내쉬 균형을 달성함을 의미한다.
• 1,000명의 에이전트로 구성된 시뮬레이션에서 시스템은 빠르게 안정된 스크립 토큰 분포로 수렴하며, 시간이 지나도 균형에 매우 가까이 유지된다.
• 메커니즘은 m-저항성으로 설계되어, 최대 m명의 에이전트로 구성된 연합이 협력하여 유익을 증가시킬 수 없으며, 이는 내구성을 보장한다.
• 이론적 분석을 통해 임계값 기반 모니터링 전략이 ε-내쉬 균형을 형성하며, 유한하고 기약불가능하며 비주기적이고 가역적인 마르코프 체인의 성질에 의해 수렴이 보장됨을 확인했다.
• 최대 엔트로피 분포는 대규모 에이전트 집단(γn)이 임계값 이하의 토큰을 보유하게 하여 일관된 자발적 모니터링자 풀을 유지함을 보장한다.