[논문 리뷰] Robust Algorithmic Collusion

Nicolas Eschenbaum, Filip Mellgren외 1명|arXiv (Cornell University)|2022. 01. 02.

Auction Theory and Applications인용 수 12

한 줄 요약

이 논문은 오프라인으로 훈련된 강화학습 가격 설정 알고리즘이 실제 시장에 배포되었을 때 칼텍션을 유지할 수 있는지 평가하기 위한 형식적 프레임워크를 개발한다. 표준 Q-학습 에이전트는 훈련 환경에 과적합되어 새로운 시장으로의 칼텍션 행동을 외삽하지 못하며, 나슈 균형으로 회귀한다; 그러나 에이전트가 경쟁자의 가격이 아닌 자신의 과거 가격만 관찰하도록 제한하면, 학습된 전략이 단순화되고 과적합이 감소하여 칼텍션이 강건해진다.

ABSTRACT

This paper develops a formal framework to assess policies of learning algorithms in economic games. We investigate whether reinforcement-learning agents with collusive pricing policies can successfully extrapolate collusive behavior from training to the market. We find that in testing environments collusion consistently breaks down. Instead, we observe static Nash play. We then show that restricting algorithms' strategy space can make algorithmic collusion robust, because it limits overfitting to rival strategies. Our findings suggest that policy-makers should focus on firm behavior aimed at coordinating algorithm design in order to make collusive policies robust.

연구 동기 및 목표

• 기존 연구가 알고리즘적 칼텍션을 훈련 환경에서만 평가하는 데에 그치며, 이는 실제 배포와 다를 수 있음을 메우기 위해.
• 강화학습 에이전트가 훈련 환경에서의 칼텍션 가격 정책을 새로운, 알려지지 않은 시장 맥락으로 외삽할 수 있는지 조사하기 위해.
• 알고리즘 전략 공간에 제약을 두면 다양한 시장 환경 간에 칼텍션 행동의 강건성이 향상되는지 검토하기 위해.
• 특히 파rameterization과 관찰 공간을 포함한 알고리즘 설계의 협력적 요소가 강건한 알고리즘적 칼텍션을 가능하게 하는 메커니즘으로서의 중요성을 부각하기 위해.
• 표준 머신러닝 평가 관행과 유사하게, 별도의 훈련 및 테스트 맥락에서 알고리즘 행동을 테스트하기 위한 형식적 프레임워크를 제공하기 위해.

제안 방법

• 훈련 및 테스트 설정을 구분하기 위해 시장 환경을 매개변수화된 '맥락'으로 형식화하기 위해.
• 다양한 시장 조건에서 가격 상호작용을 시뮬레이션하기 위해 반복 베르트란드 게임에서 Q-학습 에이전트를 사용하기 위해.
• 외삽 능력을 평가하기 위해 동일한 훈련 맥락과 새로운, 이전에 본 적 없는 테스트 맥락에서의 정책 성능을 비교하기 위해.
• 과적합을 줄이기 위해 에이전트가 경쟁자의 가격이 아닌 자신의 과거 가격만 조건으로 삼도록 제한된 관찰 공간을 도입하기 위해.
• 다양한 반복 및 환경에서 수렴성과 칼텍션 지수를 통해 정책의 강건성을 평가하기 위해.
• 훈련에서 얻은 고정 정책을 사용하고 테스트 맥락에서 정책 업데이트를 계속하는 제어 실험을 통해 장기적 행동을 평가하기 위해.

실험 결과

연구 질문

• RQ1 특정 환경에서 칼텍션을 위해 훈련된 강화학습 에이전트가 새로운, 다른 시장 맥락에 배포되었을 때 칼텍션 가격을 유지할 수 있는가?
• RQ2 왜 알고리즘적 칼텍션은 훈련 환경에서 테스트 환경으로 옮길 때 붕괴되며, 이러한 실패의 메커니즘은 무엇인가?
• RQ3 전략 공간을 제한함으로써—특히 자신의 과거 가격만 관찰하도록 제한함으로써—칼텍션 행동의 강건성이 환경 간에 얼마나 향상될 수 있는가?
• RQ4 테스트 환경에서 정책 업데이트를 계속하면 칼텍션의 안정성과 지속 가능성에 어떤 영향을 미치는가?
• RQ5 법적 및 실용적 제약에도 불구하고 직접 기업 간 협력이 금지된 상황에서 알고리즘 설계의 협력적 요소는 강건한 알고리즘적 칼텍션을 가능하게 하는 데 어떤 역할을 하는가?

주요 결과

• 테스트 환경에서 Q-학습 에이전트는 칼텍션을 지속적으로 유지하지 못하고, 환경이 거의 동일하더라도 정적 나슈 균형으로 수렴한다.
• 칼텍션 붕괴의 원인은 훈련 환경에 존재하는 특정 경쟁자 전략에 대한 과적합이며, 이는 새로운 상대방에게 일반화되지 않는다.
• 에이전트가 자신의 과거 가격만 관찰하도록 제한하면, 더 단순하고 일반화 가능한 전략을 얻게 되어 다양한 테스트 맥락에서 칼텍션을 유지할 수 있다.
• 제한된 관찰 공간을 사용할 경우, 에이전트는 테스트 맥락에서 유일하고 안정된 결과를 달성하여 새로운 환경에 배포될 경우의 강건성을 보여준다.
• 제한된 관찰 공간에서 정책을 훈련한 후 테스트 환경에서 계속 정책 업데이트를 수행하는 것은 성능을 떨어뜨리므로, 고정된 사전 훈련 정책을 사용하는 것이 더 유리하다.
• 이 연구는 실질적인 알고리즘적 칼텍션의 성공이 공동 학습만에 달려 있는 것이 아니라, 파rameterization과 전략 공간 제약 같은 사전 공조된 설계 선택에 달려 있음을 입증한다.