[論文レビュー] A Permutation-Equivariant Neural Network Architecture For Auction Design

Jad Rahme, Samy Jelassi+2 more|arXiv (Cornell University)|Mar 2, 2020

Auction Theory and Applications被引用数 6

ひとこと要約

この論文は、入札者およびアイテムの置換対称性を明示的に組み込むことで、オークション設計に適した置換等変性ニューラルネットワークアーキテクチャであるEquivariantNetを導入する。置換等変性からのインダクティブバイアスを活用することで、一般化性能と高いサンプル効率を達成し、RegretNetのような全結合ネットワークを上回る性能を発揮する。特に、対称的なオークション設定においては、最小限のレジットで既知の最適メカニズムを回復する。

ABSTRACT

Designing an incentive compatible auction that maximizes expected revenue is a central problem in Auction Design. Theoretical approaches to the problem have hit some limits in the past decades and analytical solutions are known for only a few simple settings. Computational approaches to the problem through the use of LPs have their own set of limitations. Building on the success of deep learning, a new approach was recently proposed by Duetting et al. (2019) in which the auction is modeled by a feed-forward neural network and the design problem is framed as a learning problem. The neural architectures used in that work are general purpose and do not take advantage of any of the symmetries the problem could present, such as permutation equivariance. In this work, we consider auction design problems that have permutation-equivariant symmetry and construct a neural architecture that is capable of perfectly recovering the permutation-equivariant optimal mechanism, which we show is not possible with the previous architecture. We demonstrate that permutation-equivariant architectures are not only capable of recovering previous results, they also have better generalization properties.

研究の動機と目的

• 一般化されたディープラーニングアーキテクチャがオークション設計において示す限界、特にサンプル効率の低さとインダクティブバイアスの欠如を是正すること。
• 匿名かつアイテム対称なオークションに内在する置換対称性を尊重するニューラルネットワークアーキテクチャの開発。
• ドメイン固有の構造的制約を埋め込むことで、低データ環境および分布外設定における一般化性能の向上。
• ニューラルアーキテクチャに対称性を組み込むことで、オークションメカニズム設計における最適化とより頑健な学習が向上することの実証。

提案手法

• 入札者およびアイテムの置換に対して不変であるニューラルネットワークアーキテクチャを設計し、出力メカニズムが入力オークション問題の対称性を尊重することを保証する。
• グラフニューラルネットワークにインspiredされたメッセージパッシング層を用いて、入札者およびアイテム間の置換等変性を強制する。
• 入札者の評価価値から割当および支払いルールへのマッピングを学習可能なメカニズムとして構築し、ネットワーク構造が対称性制約を強制する。
• サンプルされた入札者の評価価値を訓練データとして用い、レジット最小化に基づく微分可能な目的関数でモデルを訓練する。
• トレーニング中にインcentive compatibility制約を満たすためにラグランジュ緩和を適用する。
• パラメータ数が入力次元に依存しないようにすることで、新しいオークションサイズへのゼロショット一般化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 オークション設計において置換等変性を明示的に組み込むニューラルネットワークアーキテクチャは、一般化された全結合ネットワークと比較して、サンプル効率および一般化性能で優れるか？
• RQ2 対称的なオークション設定において、対称性制約を組み込むことで、既知の最適メカニズムの回復がより良くなるか？
• RQ3 固定された設定でトレーニングした場合、新しいオークションサイズ（例：異なる数の入札者やアイテム）に対して、モデルはどの程度一般化できるか？
• RQ4 非対称な設定においても、アーキテクチャは非対称性を考慮していないにもかかわらず、近似的に最適な収益を達成し、小さなレジットを発生させるか？
• RQ5 訓練分布が固定されている場合でも、モデルはより大きなおよびより小さなオークションインスタンスの両方に対して一般化できるか？

主な発見

• 置換等変性アーキテクチャ、EquivariantNetは、対称的なオークション設定において、最小限のレジットでほぼ最適な収益を達成し、既知の解析的結果と一致または上回る。
• 低データ環境（例：20件のトレーニングサンプル）において、EquivariantNetは未観測データに対して効果的に一般化するが、RegretNetは一般化に失敗し、優れたサンプル効率を示す。
• モデルは異なる数のアイテム（例：1×5から1×10）および入札者（例：2×3から2×6）に対しても良好に一般化し、分布外設定においても高い収益性能を維持する。
• パラメータ数が入力次元に依存しないため、入力サイズの変化に対しても性能が安定し、スケーラブルである。これに対して、全結合ネットワークとは異なり、入力次元に依存する。
• 非対称な設定においても、モデルは小さなレジットでほぼ最適な収益を達成し、対称ケースを超えた頑健性を示す。
• 置換等変性からのインダクティブバイアスにより、構造的対称性を尊重するメカニズムを学習可能となり、最適化および一般化の両面で性能向上が達成される。