[論文レビュー] Artificial Intelligence and Spontaneous Collusion

Martino Banchio, Giacomo Mantegazza|arXiv (Cornell University)|Feb 12, 2022

Complex Systems and Time Series Analysis被引用数 13

ひとこと要約

本稿は、繰り返しゲームにおける独立した利益最大化学習アルゴリズムが、明示的な調整なしに、報酬推定値における内生的統計的連関性の結果として、自発的結合と呼ばれる新しいメカニズムによって結束する可能性を同定する。このメカニズムにより、監視や意図がなくても価格や市場シェアにおける持続的結束が可能となり、アルゴリズム市場における価格固定や市場分割の結果を裏付けるものである。

ABSTRACT

We develop a tractable model for studying strategic interactions between learning algorithms. We uncover a mechanism responsible for the emergence of algorithmic collusion. We observe that algorithms periodically coordinate on actions that are more profitable than static Nash equilibria. This novel collusive channel relies on an endogenous statistical linkage in the algorithms' estimates which we call spontaneous coupling. The model's parameters predict whether the statistical linkage will appear, and what market structures facilitate algorithmic collusion. We show that spontaneous coupling can sustain collusion in prices and market shares, complementing experimental findings in the literature. Finally, we apply our results to design algorithmic markets.

研究の動機と目的

• 明示的な調整や監視技術に依存しない、意図しないアルゴリズム的結束の新たなチャネルを同定すること。
• 繰り返しゲームにおける学習アルゴリズムの戦略的相互作用を分析し、個々の利益最大化の下でも結束的結果が生じる仕組みを明らかにすること。
• アルゴリズムゲームにおける確率的で離散時間の学習ダイナミクスをモデル化するための実用的な分析フレームワークを構築すること。
• 自発的結合がベルトラン競争やキーワードオークションなどの現実市場設定において、結束を維持できることを示すこと。
• 自発的結合を可能にする統計的連関を排除することで、アルゴリズム的結束に対して耐性を持つメカニズムを設計すること。

提案手法

• 解析的扱いを可能にするために、離散的で確率的な学習ダイナミクスを連続時間の力学系に近似する。
• 標準的な力学系技術を用いて、Q学習やイプシロン・グリーディーエージェントなどの学習アルゴリズムの長期的挙動を特徴付ける。
• 自発的結合を、まれな実験における持続的推定誤差に起因する統計的連関として同定し、それによってエージェントの同期的プレーが生じることを示す。
• 反事後報酬モデリングと改善された探索戦略を用いて、自発的結合に耐性を持つアルゴリズムを設計する。
• 支配戦略ゲームとメカニズム設計にフレームワークを適用し、推定相関を可能にするフィードバックを排除することで、戦略的整合性を持つメカニズムを構築できることを示す。
• 最小限のフィードバック（枢軸的価値のみ）を提供するVCG風のメカニズムを用いて、情報漏洩を低減し、自発的結合を遮断する。

実験結果

リサーチクエスチョン

• RQ1 学習アルゴリズムが明示的な調整や意図なしにどのように結束するメカニズムを備えているのか。
• RQ2 報酬推定値における統計的相関が、独立したエージェントの同期的で結束的行動をどのように引き起こすのか。
• RQ3 どのような市場構造とアルゴリズム設計の下で、自発的結合が出現したり消滅したりするのか。
• RQ4 ベルトラン競争やキーワードオークションなどの現実市場設定において、自発的結合が価格固定や市場分割の結果を維持できるのか。
• RQ5 市場設計者が自発的結合によって引き起こされる結束に対して耐性を持つメカニズムをどのように設計できるか。

主な発見

• 自発的結合は、まれな探索を示す学習アルゴリズムが相関する推定誤差を示す場合に生じ、確率的サイクルにおける同期的協力と裏切りを引き起こす。
• 囚人のジレンマにおいて、素朴なQ学習エージェントは、タート・フォー・タート学習がなくても、持続的推定誤差の結果として、戦略的設計によらずに高い協力率を維持する。
• ベルトラン競争モデルにおいて、自発的結合は独占的価格を維持可能であり、対称的で劣化した戦略が価格固定を模倣する結果となる。
• オンラインキーワードオークションにおいて、アルゴリズムはそれぞれの広告主に異なるキーワードセットを割り当てることで、自発的に市場を分割し、市場分割の結束を実現できる。
• 反事後報酬モデリングや注意深い探索を組み込むアルゴリズムは、結束を可能にする統計的連関を回避するため、自発的結合に耐性を持つ。
• 枢軸的価値のみをフィードバックするメカニズム（最小フィードバックVCG設計など）は、統計的連関を排除するため、自発的結合を防止し、戦略的整合性のある結果を実現できる。