[논문 리뷰] How and Why to Manipulate Your Own Agent: On the Incentives of Users of Learning Agents

Yoav Kolumbus, Noam Nisan|arXiv (Cornell University)|2021. 12. 14.

Auction Theory and Applications인용 수 5

한 줄 요약

이 논문은 반복 게임에서 사용자가 학습 에이전트의 비공개 파라미터를 위조 보고하여 장기적 유용성을 향상시키기 위해 전략적으로 에이전트를 조작하는 메타게임 프레임워크를 제안한다. 사용자가 이러한 조작을 통해 이득을 볼 수 있음을 보여주며, 특히 다중 가중치 또는 페트urbed 리더를 따르는 회귀 최소화 에이전트와 같은 경우에 특히 두드러진다. 이는 정직한 보고와 표준 내쉬 균형에서 크게 벗어난 결과를 초래한다.

ABSTRACT

The usage of automated learning agents is becoming increasingly prevalent in many online economic applications such as online auctions and automated trading. Motivated by such applications, this paper is dedicated to fundamental modeling and analysis of the strategic situations that the users of automated learning agents are facing. We consider strategic settings where several users engage in a repeated online interaction, assisted by regret-minimizing learning agents that repeatedly play a "game" on their behalf. We propose to view the outcomes of the agents' dynamics as inducing a "meta-game" between the users. Our main focus is on whether users can benefit in this meta-game from "manipulating" their own agents by misreporting their parameters to them. We define a general framework to model and analyze these strategic interactions between users of learning agents for general games and analyze the equilibria induced between the users in three classes of games. We show that, generally, users have incentives to misreport their parameters to their own agents, and that such strategic user behavior can lead to very different outcomes than those anticipated by standard analysis.

연구 동기 및 목표

• 반복 게임에서 의사결정을 학습 에이전트에 위임하는 사용자의 전략적 인centive를 모델링하기 위해.
• 사용자가 자신의 에이전트의 비공개 파라미터(예: 유용성)를 위조 보고하여 이득을 볼 수 있는지 분석하기 위해.
• 회귀 최소화 에이전트의 동역학이 사용자 간에 메타게임을 유도하는 방식을 연구하기 위해, 여기서 사용자의 행동은 파라미터 선언이며 결과는 장기 평균 유용성이다.
• 이 메타게임의 균형을 특성화하고 표준 게임 이론적 해법(예: 내쉬 균형)과 비교하기 위해.
• 다양한 학습 알고리즘(예: 다중 가중치, FTPL)이 사용자 인센티브와 결과에 미치는 영향을 평가하기 위해.

제안 방법

• 사용자의 전략이 에이전트에 보고하는 파라미터 선언이며, 보상이 에이전트 동역학으로부터 얻는 장기 평균 유용성인 메타게임을 수식화하기 위해.
• 다중 가중치(MW) 및 페트urbed 리더를 따르는(FTPL)과 같은 회귀 최소화 알고리즘을 사용하여 에이전트 행동을 모델링하며, 이는 공통된 상관 균형(CCE)으로 수렴한다.
• 사용자 보고된 파라미터에 대한 에이전트의 경험적 플레이를 함수로 간주하여 유도된 사용자 균형을 분석하기 위해.
• 세 가지 유형의 게임(대조적 이익 게임 포함)에서 진술이 정직한지 여부에 따라 결과를 비교하기 위해 시뮬레이션을 수행하기 위해.
• 시간 평균 전략 빈도를 통해 에이전트 동역학이 내쉬 균형으로 수렴하는 정도를 측정하며, MW 에이전트의 경우 오차가 O(1/√T)로 추정하기 위해.
• 시뮬레이션 결과를 이론적 예측과 비교하여 내쉬 균형에서의 이탈과 조작으로 인한 유용성 증가를 분석하기 위해.

실험 결과

연구 질문

• RQ1 사용자가 자신의 학습 에이전트에 비공개 파라미터(예: 유용성)를 위조 보고하여 더 높은 장기 보상을 달성할 수 있는가?
• RQ2 회귀 최소화 에이전트(예: MW, FTPL)의 동역학이 사용자 간에 유도된 메타게임의 균형 결과에 어떤 영향을 미치는가?
• RQ3 조작된 선언이 기본 게임의 내쉬 균형과 얼마나 다를 정도로 결과를 변화시키는가?
• RQ4 학습 알고리즘의 업데이트 규칙(예: 단계 크기 η)이 사용자 인센티브와 균형 수렴에 어떤 역할을 하는가?
• RQ5 모든 사용자에게 정직한 보고보다 파레토 개선 결과를 가져오는 조작 프로파일이 존재하는가?

주요 결과

• 사용자는 학습 에이전트에 파라미터를 위조 보고함으로써 장기적 유용성을 높일 수 있는 강력한 동기를 가진다. 이러한 조작은 정직한 보고보다 더 높은 장기적 유용성을 초래할 수 있다.
• 대조적 이익 게임 예시에서 조작 프로파일(c=d=1)은 정직한 선언보다 두 사용자 모두 더 높은 보상을 얻지만, 이는 메타게임 균형이 아니다.
• 시뮬레이션 결과에 따르면, 다중 가중치 및 FTPL 에이전트 모두 조작 상황에서 유사한 유용성 결과를 보이며, 각 조작 프로파일에 대해 이론적 예측과 유사한 평균 유용성을 기록한다.
• 다중 가중치 에이전트의 경우, 시간 평균 전략 빈도가 내쉬 균형 분포에서 벗어남의 정도는 O(1/√T)로 감소하며, 이는 이론적 수렴 속도를 확인한다.
• 1,000회의 시뮬레이션 실행에서의 전략 빈도 히스토GRAM은 내쉬 균형 주변에 좁은 집중을 보이며, 정직한 보고 상황에서 안정적인 장기적 행동을 나타낸다.
• 조작 상황에서의 에이전트 경험적 동역학은 표준 게임 이론적 균형과 크게 다른 결과를 초래하며, 이는 에이전트 수준 분석을 넘어서 사용자 인centive를 모델링하는 것이 중요함을 시사한다.