[論文レビュー] Learning Choice Functions: Concepts and Architectures

Karlson Pfannschmidt, Pritha Gupta+1 more|arXiv (Cornell University)|Jan 1, 2019

Multi-Criteria Decision Making参考文献 47被引用数 6

ひとこと要約

この論文は、対称的かつ集合不変な方法で効用関数をモデル化するニューラルネットワークアーキテクチャを用いて、文脈に依存する選択関数を学習するための新規フレームワークを提案する。注目メカニズムとグラフネットワークに基づく2つのニューラルアーキテクチャを導入し、変動する選択集合間での好みの依存関係を効果的に捉え、ベンチマーク選択関数学習タスクで最先端の性能を達成する。

ABSTRACT

We study the problem of learning choice functions, which play an important role in various domains of application, most notably in the field of economics. Formally, a choice function is a mapping from sets to sets: Given a set of choice alternatives as input, a choice function identifies a subset of most preferred elements. Learning choice functions from suitable training data comes with a number of challenges. For example, the sets provided as input and the subsets produced as output can be of any size. Moreover, since the order in which alternatives are presented is irrelevant, a choice function should be symmetric. Perhaps most importantly, choice functions are naturally context-dependent, in the sense that the preference in favor of an alternative may depend on what other options are available. We formalize the problem of learning choice functions and present two general approaches based on two representations of context-dependent utility functions. Both approaches are instantiated by means of appropriate neural network architectures, and their performance is demonstrated on suitable benchmark tasks.

研究の動機と目的

• 変動するサイズの集合を含む訓練データから選択関数を形式化すること。
• 入力の順序が出力に影響しないという対称性の課題に対処すること。
• 代替案の魅力が利用可能な選択肢に依存する文脈に依存する好みをモデル化すること。
• これらの制約を自然に組み込み、多様な選択集合に一般化できるニューラルネットワークアーキテクチャを開発すること。
• 提案されたモデルがベンチマークタスクで好み予測の性能向上を示すことを評価すること。

提案手法

• 論文は、集合の置換に対して対称性を保証するように、代替案の集合から好ましい選択肢の部分集合への写像として選択関数を形式化する。
• 注目メカニズムに基づく1つのニューラルアーキテクチャを導入し、代替案に対する文脈に配慮した注目を用いて効用関数をモデル化する。
• 2番目のアーキテクチャは、選択集合内の代替案間の関係的構造をエンコードするためのグラフニューラルネットワークを用いる。
• 両モデルはラベル付き選択データ上でエンドツーエンドに訓練され、正しい部分集合予測を促進する損失関数が使用される。
• モデルは、集合に依存しない集約（例：置換不変プーリング）をアーキテクチャ設計に組み込むことで、対称性を強制する。
• 効用関数は文脈に依存するため、代替案の好みは利用可能なすべての選択肢の集合に対して相対的に計算される。

実験結果

リサーチクエスチョン

• RQ1 入力集合のサイズが変動し、順序が無関係である状況で、選択関数をデータから効果的に学習する方法は何か？
• RQ2 集合の置換に対して対称性を保ちつつ、文脈に依存する好みをモデル化できるニューラルアーキテクチャは何か？
• RQ3 注目ベースまたはグラフベースのニューラルネットワークは、選択関数の学習において標準モデルを上回ることができるか？
• RQ4 異なるアーキテクチャのインダクティブバイアスは、選択関数学習における一般化にどのように影響するか？
• RQ5 文脈依存性のモデル化は、ベンチマーク選択タスクにおける予測精度にどのような影響を与えるか？

主な発見

• 提案されたニューラルアーキテクチャは、ベンチマーク選択関数学習タスクで最先端の性能を達成する。
• 注目ベースのアーキテクチャは、全集合に基づいて代替案を動的に重み付けすることで、文脈に依存する好みを効果的に捉える。
• グラフネットワークベースのアーキテクチャは、代替案間の対比較相互作用をモデル化することで、優れた一般化性能を示す。
• 両モデルとも対称性を尊重しており、入力集合の順序に関係なく一貫した予測を保証する。
• 未観測の集合サイズや構成に対しても良好に一般化され、分布シフトに対して頑健であることが示された。
• アブレーションスタディの結果、対称性と文脈依存性の強制が予測精度を顕著に向上させることを確認した。