[論文レビュー] How and Why to Manipulate Your Own Agent: On the Incentives of Users of Learning Agents

Yoav Kolumbus, Noam Nisan|arXiv (Cornell University)|Dec 14, 2021

Auction Theory and Applications被引用数 5

ひとこと要約

本稿では、繰り返しゲームにおける長期的効用を向上させるために、ユーザーが学習エージェントの私的パラメータを意図的に誤報告することで戦略的に操作するメタゲーム枠組みを導入する。実証的に、特に逐次的誤り最小化エージェント（例：乗法的重み法やフォローザ・ペチューブド・リーダー）では、このような操作が利益をもたらすことが示され、真実の報告や標準的ナッシュ均衡とは著しく異なる結果が得られる。

ABSTRACT

The usage of automated learning agents is becoming increasingly prevalent in many online economic applications such as online auctions and automated trading. Motivated by such applications, this paper is dedicated to fundamental modeling and analysis of the strategic situations that the users of automated learning agents are facing. We consider strategic settings where several users engage in a repeated online interaction, assisted by regret-minimizing learning agents that repeatedly play a "game" on their behalf. We propose to view the outcomes of the agents' dynamics as inducing a "meta-game" between the users. Our main focus is on whether users can benefit in this meta-game from "manipulating" their own agents by misreporting their parameters to them. We define a general framework to model and analyze these strategic interactions between users of learning agents for general games and analyze the equilibria induced between the users in three classes of games. We show that, generally, users have incentives to misreport their parameters to their own agents, and that such strategic user behavior can lead to very different outcomes than those anticipated by standard analysis.

研究の動機と目的

• 繰り返しゲームにおいて意思決定を学習エージェントに委ねるユーザーの戦略的インcentiveをモデル化すること。
• ユーザーが自身のエージェントに対して、報酬などの私的パラメータを誤報告することで、長期的報酬を向上させられるかどうかを分析すること。
• 誤り最小化エージェントのダイナミクスが、ユーザーの行動（パラメータ宣言）と長期平均報酬をもたらすメタゲームをどのように誘発するかを調査すること。
• このメタゲームにおける均衡を特定し、標準的なゲーム理論的解（例：ナッシュ均衡）と比較すること。
• 異なる学習アルゴリズム（例：乗法的重み法、FTPL）がユーザーのインセンティブと結果に与える影響を評価すること。

提案手法

• ユーザーの戦略をエージェントへのパラメータ宣言とし、報酬をエージェントのダイナミクスから得られる長期平均報酬として形式化するメタゲームを定式化する。
• 乗法的重み法（MW）やフォローザ・ペチューブド・リーダー（FTPL）などの誤り最小化アルゴリズムを用いてエージェント行動をモデル化し、これらが粗い相関均衡（CCE）に収束することを示す。
• ユーザー報告パラメータの関数としてエージェントの経験的戦略の行動を扱い、誘発されるユーザー均衡を分析する。
• 3種類のゲーム（対立的利害ゲームを含む）を用いたシミュレーションを通じて、真実の報告と操作された報告の下での結果を比較する。
• 時間平均戦略頻度を用いてエージェントのダイナミクスがナッシュ均衡に収束するかどうかを推定し、MWエージェントでは誤差がO(1/√T)のオーダーで減少することを測定する。
• シミュレーション結果を理論的予測と比較し、ナッシュ均衡からの逸脱や操作による報酬上昇を評価する。

実験結果

リサーチクエスチョン

• RQ1 ユーザーは、自身の私的パラメータ（例：報酬）を学習エージェントに意図的に誤報告することで、より高い長期的報酬を達成できるか？
• RQ2 誤り最小化エージェント（例：MW、FTPL）のダイナミクスは、ユーザー間の誘発されるメタゲームにおける均衡結果にどのように影響するか？
• RQ3 操作された宣言が、元のゲームのナッシュ均衡とは著しく異なる結果をもたらす程度はどの程度か？
• RQ4 学習アルゴリズムの更新ルール（例：ステップサイズη）は、ユーザーのインセンティブと均衡への収束にどのように寄与するか？
• RQ5 真実の報告と比較して、すべてのユーザーにとってパレート改善をもたらす操作プロファイルは存在するか？

主な発見

• ユーザーは、エージェントに私的パラメータを誤報告することで、真実の報告よりも高い長期的報酬を達成できる強いインセンティブを持つ。
• 対立的利害ゲームの例における操作プロファイル（c=d=1）は、両ユーザーの報酬を真実の宣言よりも高めるが、これはメタゲーム均衡ではない。
• シミュレーションでは、乗法的重み法とFTPLエージェントの両方とも、操作された状況で類似した報酬結果を示し、各操作プロファイルにおける理論的予測に近い平均報酬を達成する。
• 乗法的重み法エージェントでは、時間平均戦略頻度がナッシュ均衡分布から逸脱する割合がO(1/√T)のオーダーで減少し、理論的収束レートが確認される。
• 1,000回のシミュレーション実行における戦略頻度のヒストグラムは、ナッシュ均衡の周辺に狭く集中しており、真実の報告下での安定した長期的行動を示している。
• 操作された状況下でのエージェントの経験的ダイナミクスは、標準的なゲーム理論的均衡とは著しく異なる結果をもたらし、エージェントレベルの分析を超えてユーザーのインセンティブをモデル化することが重要であることを強調している。