[論文レビュー] Robust Algorithmic Collusion

Nicolas Eschenbaum, Filip Mellgren+1 more|arXiv (Cornell University)|Jan 2, 2022

Auction Theory and Applications被引用数 12

ひとこと要約

本稿は、オффラインで訓練された強化学習価格設定アルゴリズムが実市場に導入された際、どのようにカルテルを維持できるかを評価する形式的フレームワークを構築する。標準的なQ学習エージェントは訓練環境に過適合し、新しい市場へのカルテル行動の外挿に失敗し、ナッシュ均衡に回帰するが、エージェントを他者の過去価格ではなく、自身の過去価格のみに依存させる制限を設けることで、学習戦略が単純化され、過適合が軽減され、カルテルが強靭になることが示された。

ABSTRACT

This paper develops a formal framework to assess policies of learning algorithms in economic games. We investigate whether reinforcement-learning agents with collusive pricing policies can successfully extrapolate collusive behavior from training to the market. We find that in testing environments collusion consistently breaks down. Instead, we observe static Nash play. We then show that restricting algorithms' strategy space can make algorithmic collusion robust, because it limits overfitting to rival strategies. Our findings suggest that policy-makers should focus on firm behavior aimed at coordinating algorithm design in order to make collusive policies robust.

研究の動機と目的

• 訓練環境でのみアルゴリズム的カルテルを評価する既存研究のギャップを埋めるため、実世界の展開を反映しない可能性がある訓練環境での評価に焦点を当てる。
• 強化学習エージェントが訓練環境から得たカルテル価格政策を、新しい未確認の市場状況に正しく外挿できるかを調査する。
• アルゴリズム戦略空間への制約が、異なる市場環境間でカルテル行動の強靭性を向上させられるかを検討する。
• パrameterizationと観測空間の設計における調整が、直接的な企業間協調が法的に・実務的に制限される中でも、強靭なアルゴリズム的カルテルを可能にするメカニズムとしての重要性を強調する。
• 標準的な機械学習の評価手法に類似した、訓練とテストの文脈を分離してアルゴリズム行動をテストする形式的フレームワークを提供する。

提案手法

• 訓練とテストの文脈を区別するため、パrameter化された「文脈」として市場環境を形式化する。
• 繰り返しベルトラン競争におけるQ学習エージェントを用いて、異なる市場状況下での価格相互作用をシミュレートする。
• 同一の訓練文脈と、以前に未確認のテスト文脈でのポリシー性能を比較し、外挿能力を評価する。
• エージェントが他者の過去価格ではなく、自身の過去価格のみに依存する制限付き観測空間を導入し、過適合を抑える。
• 複数回の反復と複数の環境における収束の安定性とカルテルインデックスを用いて、ポリシーの強靭性を評価する。
• 訓練で得た固定ポリシーと、テスト文脈で継続的なポリシー更新を実施する制御実験を用い、長期的行動を評価する。

実験結果

リサーチクエスチョン

• RQ1 特定の環境でカルテルを学習した強化学習エージェントは、新しい異なる市場文脈に展開された際、カルテル価格を維持できるか？
• RQ2 訓練環境からテスト環境に移行する際、アルゴリズム的カルテルがなぜ崩壊するのか。その背後にあるメカニズムは何か？
• RQ3 戦略空間を制限すること、特に他者の価格ではなく自身の過去価格のみに依存するように制限することによって、カルテル行動の強靭性がどの程度向上するか？
• RQ4 テスト環境で継続的なポリシー更新が行われると、カルテルの安定性と持続可能性にどのような影響を与えるか？
• RQ5 法的・実務的制約のもとで直接的な企業協調が不可能な中、アルゴリズム設計における調整が、強靭なアルゴリズム的カルテルを可能にする役割は何か？

主な発見

• テスト環境では、カルテルを学習したQ学習エージェントが一貫してカルテルを維持できず、静的ナッシュ均衡に収束する。これは、環境がほとんど同一であっても同様に発生する。
• カルテルの崩壊は、訓練環境に特有の競合戦略に過適合していることに起因し、新しい相手には一般化できない。
• エージェントを他者の過去価格ではなく、自身の過去価格のみに依存させる制限を設けることで、より単純で一般化可能な戦略が得られ、異なるテスト文脈でもカルテルが維持される。
• 制限付き観測空間を採用した場合、エージェントはテスト文脈で一意で安定した結果に到達し、新しい環境への展開に対する強靭性が示された。
• 制限付き観測空間で訓練されたポリシーを用いる場合、テスト環境での継続的ポリシー更新は逆効果であり、固定された事前訓練済ポリシーを用いるよりも性能が劣る。
• 本研究は、実際のアルゴリズム的カルテルの成功は、共同学習に依存するのではなく、パrameterizationや戦略空間の制約といった事前の協調的設計選択にかかっていることを示した。