[论文解读] A Context-Integrated Transformer-Based Neural Network for Auction Design

Zhijian Duan, Jingwu Tang+5 more|arXiv (Cornell University)|Jan 29, 2022

Auction Theory and Applications被引用 7

一句话总结

该论文提出CITransNet，一种基于上下文融合的Transformer神经网络，用于最优拍卖设计，可在保持出价与上下文排列等变性的同时实现非对称解。在多物品拍卖中，其性能显著优于强基线模型，并能有效泛化至未见过的拍卖规模，在设定外评估中遗憾值低于0.001。

ABSTRACT

One of the central problems in auction design is developing an incentive-compatible mechanism that maximizes the auctioneer's expected revenue. While theoretical approaches have encountered bottlenecks in multi-item auctions, recently, there has been much progress on finding the optimal mechanism through deep learning. However, these works either focus on a fixed set of bidders and items, or restrict the auction to be symmetric. In this work, we overcome such limitations by factoring \emph{public} contextual information of bidders and items into the auction learning framework. We propose $\mathtt{CITransNet}$, a context-integrated transformer-based neural network for optimal auction design, which maintains permutation-equivariance over bids and contexts while being able to find asymmetric solutions. We show by extensive experiments that $\mathtt{CITransNet}$ can recover the known optimal solutions in single-item settings, outperform strong baselines in multi-item auctions, and generalize well to cases other than those in training.

研究动机与目标

• 解决现有深度学习方法在拍卖设计中假设固定或对称设置、泛化能力有限的局限性。
• 将投标人与物品的公开上下文信息整合到神经机制中，实现更真实、可扩展的拍卖设计。
• 开发一种参数高效的架构，保持排列等变性，并在不同数量的投标人与物品间实现泛化。
• 与强基线相比，在多物品拍卖设置中展示出更优的性能与泛化能力。
• 验证模型在单物品设置下恢复已知最优解的能力，并实现对训练配置之外场景的泛化。

提出的方法

• CITransNet是一种基于Transformer的神经网络，联合处理投标人出价、投标人上下文与物品上下文，以学习一个激励相容的拍卖机制。
• 该模型在出价与上下文上保持排列等变性，确保在投标人或物品排列下行为一致。
• 其采用自注意力机制捕捉投标人与物品之间的复杂相互影响，支持非对称的分配决策。
• 该架构设计为尺度不变，参数量独立于投标人与物品数量，从而支持设定外泛化。
• 机制通过可微分优化流程端到端训练，以在激励相容约束下最大化期望收益。
• 推导出样本复杂度界，以理论支持所学机制的泛化性能。

实验结果

研究问题

• RQ1 基于深度学习的拍卖机制能否泛化至训练时未见过的投标人与物品数量的拍卖？
• RQ2 神经网络在单物品拍卖设置下，能否准确恢复已知的解析最优解？
• RQ3 在多物品拍卖设计中，整合投标人与物品的上下文信息是否能提升性能？
• RQ4 排列等变性在多大程度上增强了模型学习非对称机制的能力？
• RQ5 基于Transformer的架构能否有效建模动态拍卖环境中投标人与物品之间的复杂交互？

主要发现

• 在单物品拍卖设置中，CITransNet以近乎完美的准确度恢复了Myerson（1981）的已知最优解。
• 在多物品拍卖中，CITransNet在期望收益方面显著优于强基线模型，包括CIRegretNet与CIEquivariantNet。
• 该模型在训练时未见的拍卖规模上实现了有效的泛化，在所有设定外评估中遗憾值均低于0.001。
• 在不同数量的投标人（3至7名）与物品（3至7件）下，设定外泛化性能稳健，且持续优于基于物品的Myerson基线。
• 基于Transformer的交互模块使CITransNet比全连接或等变基线更有效地捕捉复杂的投标人-物品交互。
• CITransNet的参数效率（与拍卖规模无关）使其适用于大规模、动态的拍卖环境。