[论文解读] Mechanism Design for Multi-Party Machine Learning

Mengjing Chen, Yang Liu+4 more|arXiv (Cornell University)|Jan 24, 2020

Auction Theory and Applications参考文献 30被引用 15

一句话总结

本文提出了一种多主体机器学习的机制设计框架，其中各参与方可变价值且行动空间受限——无法虚报数据质量。在准单调性条件下，该框架提出了一种真实且收益最优的机制，并给出了实现激励相容与个体理性所需的充要条件，其存在性在很大程度上取决于市场增长率。

ABSTRACT

In a multi-party machine learning system, different parties cooperate on optimizing towards better models by sharing data in a privacy-preserving way. A major challenge in learning is the incentive issue. For example, if there is competition among the parties, one may strategically hide his data to prevent other parties from getting better models. In this paper, we study the problem through the lens of mechanism design and incorporate the features of multi-party learning in our setting. First, each agent's valuation has externalities that depend on others' types and actions. Second, each agent can only misreport a type lower than his true type, but not the other way round. We call this setting interdependent value with type-dependent action spaces. We provide the optimal truthful mechanism in the quasi-monotone utility setting. We also provide necessary and sufficient conditions for truthful mechanisms in the most general case. Finally, we show the existence of such mechanisms is highly affected by the market growth rate and provide empirical analysis.

研究动机与目标

• 解决多主体机器学习中的激励问题，其中竞争各方可能战略性地隐瞒数据。
• 建立一种新型设置，其中价值相互依赖且类型相关行动空间受限，即参与者无法虚报其真实数据质量。
• 提供一种机制，确保在一般估值函数下具备个体理性、激励相容与弱预算平衡。
• 分析市场增长率对理想机制存在性的影响。
• 设计一种算法，利用基于效用差距的最短路径约束计算最优支付。

提出的方法

• 将问题形式化为具有相互依赖价值与受限行动空间（参与者仅能低估）的机制设计设置。
• 定义效用差距 $Gap_i(t_i', t_i, t_{-i})$，以捕捉参与者 $i$ 在虚报 $t_i'$ 而非如实报告 $t_i$ 时的效用差异。
• 基于节点表示类型组合、边编码效用约束的图结构，构建基于最短路径计算的支付系统。
• 使用单源最短路径算法计算满足个体理性与激励相容性的最大可行支付 $p_i^{max}(t_i, t_{-i})$。
• 引入一种决策算法，通过验证总支付是否小于零，检查是否存在弱预算平衡、高效且诚实的机制。
• 将类型空间离散化为大小为 $\epsilon$ 的区间，以处理连续数据规模，假设所有估值函数均为共同知识。

实验结果

研究问题

• RQ1 在具有相互依赖价值与受限报告行为的多主体机器学习中，何种条件下存在诚实、个体理性且弱预算平衡的机制？
• RQ2 市场增长率如何影响满足所有理想属性的机制的存在性？
• RQ3 在准单调效用设置下，最大化收益并确保激励相容的最优支付规则是什么？
• RQ4 能否构造一种机制，确保在参与者无法虚报其数据质量时的效率与诚实性？
• RQ5 在复杂相互依赖估值函数下，可采用何种算法技术计算最大可行支付？

主要发现

• 所提出的机制在准单调效用设置下为收益最优且诚实，支付通过最短路径约束计算得出。
• 推导出诚实且个体理性机制存在的充要条件，基于效用差距约束与支付可行性。
• 理想机制的存在性对市场增长率高度敏感；若增长过慢，此类机制可能无法存在。
• 该算法方法将机制设计问题转化为一组差分约束系统，可通过最短路径计算求解。
• 每位参与者的最大支付由从基准节点到对应类型组合的最短路径决定，确保所有激励约束均被满足。
• 若所有参与者的最大支付总和为负，则无法同时满足个体理性、激励相容与弱预算平衡。