[论文解读] Learning Choice Functions: Concepts and Architectures

Karlson Pfannschmidt, Pritha Gupta+1 more|arXiv (Cornell University)|Jan 1, 2019

Multi-Criteria Decision Making参考文献 47被引用 6

一句话总结

本文提出了一种新颖的框架，通过使用以对称、集合不变方式建模效用函数的神经网络架构，学习上下文相关的选择函数。该框架引入了两种基于注意力机制和图网络的神经架构，有效捕捉了在不同选择集之间偏好依赖关系，在基准选择函数学习任务中实现了最先进性能。

ABSTRACT

We study the problem of learning choice functions, which play an important role in various domains of application, most notably in the field of economics. Formally, a choice function is a mapping from sets to sets: Given a set of choice alternatives as input, a choice function identifies a subset of most preferred elements. Learning choice functions from suitable training data comes with a number of challenges. For example, the sets provided as input and the subsets produced as output can be of any size. Moreover, since the order in which alternatives are presented is irrelevant, a choice function should be symmetric. Perhaps most importantly, choice functions are naturally context-dependent, in the sense that the preference in favor of an alternative may depend on what other options are available. We formalize the problem of learning choice functions and present two general approaches based on two representations of context-dependent utility functions. Both approaches are instantiated by means of appropriate neural network architectures, and their performance is demonstrated on suitable benchmark tasks.

研究动机与目标

• 将从可变大小集合的训练数据中学习选择函数的问题形式化。
• 解决选择函数中的对称性挑战，即输入顺序不影响输出。
• 建模上下文相关的偏好，其中某一选项的吸引力取决于可选选项的集合。
• 开发能自然编码这些约束并泛化到多样化选择集的神经网络架构。
• 在基准任务上评估所提出的模型，证明其在偏好预测方面性能更优。

提出的方法

• 本文将选择函数形式化为从选项集合到首选选项子集的映射，确保在集合置换下保持对称性。
• 提出两种神经架构：一种基于注意力机制，通过在选项上使用上下文感知注意力来建模效用函数。
• 第二种架构使用图神经网络，以编码选择集中选项之间的关系结构。
• 两种模型均在带标签的选择数据上进行端到端训练，损失函数旨在促进正确子集预测。
• 通过在架构设计中使用集合无关的聚合方式（如排列不变池化），强制实现对称性。
• 效用函数具有上下文依赖性，意味着某一选项的偏好是相对于所有可用选项的完整集合计算得出的。

实验结果

研究问题

• RQ1 当输入集合大小可变且顺序无关时，如何有效从数据中学习选择函数？
• RQ2 哪些神经架构能够建模上下文相关的偏好，同时在集合置换下保持对称性？
• RQ3 基于注意力或图神经网络的模型是否能在学习选择函数方面优于标准模型？
• RQ4 不同的架构归纳偏置如何影响选择函数学习中的泛化能力？
• RQ5 建模上下文依赖性对基准选择任务中预测准确率有何影响？

主要发现

• 所提出的神经架构在基准选择函数学习任务中实现了最先进性能。
• 基于注意力的架构通过根据完整集合动态加权选项，有效捕捉了上下文相关的偏好。
• 基于图网络的架构通过建模选项之间的成对交互，表现出强大的泛化能力。
• 两种模型均尊重对称性，确保无论输入集合顺序如何，预测结果保持一致。
• 模型在未见集合大小和组成上表现出良好泛化能力，表明对分布偏移具有鲁棒性。
• 消融实验确认，强制实现对称性和上下文依赖性可显著提升预测准确率。