[論文レビュー] A Context-Integrated Transformer-Based Neural Network for Auction Design

Zhijian Duan, Jingwu Tang+5 more|arXiv (Cornell University)|Jan 29, 2022

Auction Theory and Applications被引用数 7

ひとこと要約

本論文は、入札と文脈に対して置換同変性を維持しながら非対称な解を可能にする、最適オークション設計を目的としたコンテキスト統合型トランスフォーマー型ニューラルネットワーク、CITransNetを提案する。マルチアイテムオークションにおいて強力なベースラインを上回り、未学習のオークション規模に対しても効果的に一般化し、設定外評価において0.001未満のレグレットでほぼ最適な収益を達成する。

ABSTRACT

One of the central problems in auction design is developing an incentive-compatible mechanism that maximizes the auctioneer's expected revenue. While theoretical approaches have encountered bottlenecks in multi-item auctions, recently, there has been much progress on finding the optimal mechanism through deep learning. However, these works either focus on a fixed set of bidders and items, or restrict the auction to be symmetric. In this work, we overcome such limitations by factoring \emph{public} contextual information of bidders and items into the auction learning framework. We propose $\mathtt{CITransNet}$, a context-integrated transformer-based neural network for optimal auction design, which maintains permutation-equivariance over bids and contexts while being able to find asymmetric solutions. We show by extensive experiments that $\mathtt{CITransNet}$ can recover the known optimal solutions in single-item settings, outperform strong baselines in multi-item auctions, and generalize well to cases other than those in training.

研究の動機と目的

• 固定または対称的な設定を仮定する既存のディープラーニング手法の制限、特に一般化能力が限定的である点を是正すること。
• 入札者およびアイテムの公開された文脈的情報をニューラルメカニズムに統合し、より現実的でスケーラブルなオークション設計を実現すること。
• 入札者数やアイテム数の変動にわたっても置換同変性を維持し、パラメータ効率の高いアーキテクチャを開発すること。
• 強力なベースラインと比較して、マルチアイテムオークション設定における優れたパフォーマンスと一般化能力を示すこと。
• 単一アイテム設定における既知の最適解の回復能力を検証し、学習時の設定を超えて一般化できることを実証すること。

提案手法

• CITransNetは、入札者入札、入札者文脈、アイテム文脈を同時に処理するトランスフォーマー型ニューラルネットワークであり、インcentive-compatibleオークションメカニズムを学習する。
• モデルは入札および文脈に対して置換同変性を維持し、入札者やアイテムの順序の入れ替えに対しても一貫した挙動を保証する。
• 自己注意機構を用いて入札者およびアイテム間の複雑な相互作用を捉え、非対称な割り当て意思決定を可能にする。
• アーキテクチャはスケール不変性を備え、パラメータ数が入札者数やアイテム数に依存しないため、設定外一般化が可能である。
• インcentive compatibility制約の下で期待収益を最大化するため、微分可能最適化パイプラインを用いてエンドツーエンドで訓練する。
• 一般化性能の理論的裏付けとして、サンプル複雑度の上限が導出されている。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングベースのオークションメカニズムは、学習時に見なかった入札者数やアイテム数のオークションにも一般化できるか？
• RQ2 ニューラルネットワークは、単一アイテムオークション設定において既知の解析的最適解をどの程度正確に回復できるか？
• RQ3 入札者およびアイテムの文脈的情報を統合することで、マルチアイテムオークション設計のパフォーマンスが向上するか？
• RQ4 置換同変性は、モデルが非対称メカニズムを学習する能力をどの程度向上させるか？
• RQ5 トランスフォーマー型アーキテクチャは、動的オークション環境における入札者とアイテム間の複雑な相互作用を効果的にモデル化できるか？

主な発見

• CITransNetは、単一アイテムオークション設定においてMyerson（1981）が示した既知の最適解をほぼ完璧な正確性で再構築する。
• マルチアイテムオークションにおいて、CITransNetはCIRegretNet や CIEquivariantNet といった強力なベースラインを著しく上回り、期待収益の面で優れた性能を示す。
• 訓練時とは異なる入札者数やアイテム数のオークションに対しても、CITransNetは効果的に一般化し、すべての設定外評価でレグレットが0.001未満となる。
• 入札者数（3〜7）およびアイテム数（3〜7）の変動に対しても、設定外一般化は安定しており、アイテム別Myersonベースラインよりも一貫した性能向上を達成する。
• トランスフォーマー型の相互作用モジュールにより、CITransNetは全結合型や同変型ベースラインと比較して、より効果的に入札者とアイテムの複雑な相互作用を捉えることができる。
• CITransNetのパラメータ効率（オークション規模に依存しない）は、大規模かつ動的オークション環境への展開を可能にする。