[論文レビュー] Deep Architectures for Learning Context-dependent Ranking Functions

Karlson Pfannschmidt, Pritha Gupta+1 more|arXiv (Cornell University)|Mar 15, 2018

Data Management and Algorithms参考文献 38被引用数 5

ひとこと要約

本稿では、アイテムの有用性が利用可能な代替アイテムの集合に依存する、文脈依存的順序付け関数を学習するための2つの深層ニューラルネットワークアーキテクチャ、FETA-Net と FATE-Net を提案する。文脈を最初にアイテムを評価してから集約する（FETA）か、最初に文脈を集約してから評価する（FATE）ことでモデル化することで、従来の文脈無視型手法を上回り、線形および効用ベースのモデルが失敗する合成データセットにおいて90%を超える0/1順序付け精度を達成する。

ABSTRACT

Object ranking is an important problem in the realm of preference learning. On the basis of training data in the form of a set of rankings of objects, which are typically represented as feature vectors, the goal is to learn a ranking function that predicts a linear order of any new set of objects. Current approaches commonly focus on ranking by scoring, i.e., on learning an underlying latent utility function that seeks to capture the inherent utility of each object. These approaches, however, are not able to take possible effects of context-dependence into account, where context-dependence means that the utility or usefulness of an object may also depend on what other objects are available as alternatives. In this paper, we formalize the problem of context-dependent ranking and present two general approaches based on two natural representations of context-dependent ranking functions. Both approaches are instantiated by means of appropriate neural network architectures, which are evaluated on suitable benchmark task.

研究の動機と目的

• アイテムの有用性が利用可能な代替アイテムの集合に依存する学習問題として、文脈依存的順序付けを形式化すること。
• 順序付け関数における文脈効果をモデル化する2つの一般化されたニューラルネットワークアーキテクチャ（FETA-Net と FATE-Net）を開発すること。
• 異なる微分可能順序付け損失を用いて、これらのモデルのエンドツーエンド学習を可能にすること。
• 非線形順序付けタスクにおける文脈に配慮したモデルが、文脈に配慮しないベースラインを実証的に上回ることを検証すること。

提案手法

• FETA-Net は、最初に評価してから集約するアプローチを採用し、アイテム間のペアワイズ比較を計算し、微分可能順序付け層を介して集約する。
• FATE-Net は、最初に集約してから評価する戦略を採用し、オブジェクト埋め込みを平均化して文脈ベクトルを形成し、それを各アイテムのスコア算出に使用する。
• 両アーキテクチャは、スピアマンのrhoや正規化済み累積利得（nDCG）などの微分可能順序付け損失を用いてエンドツーエンドで学習される。
• データ内の複雑な非線形相互作用を捉えるために、フィードフォワードおよびリサンプルネットワークのコンponentsを用いてモデルを実装する。
• FETAアプローチは、(N-1)次近似を用いることで、極限において任意の順序付け関数を表現可能であることが理論的に示されている。
• FATEアプローチは、クエリ内のアイテム集合からグローバルな文脈埋め込みを計算することで、文脈に配慮した表現を活用する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、アイテムの有用性が利用可能な代替アイテムの集合に依存する文脈依存的好みを効果的にモデル化できるか？
• RQ2 最初に評価してから集約する（FETA）と、最初に集約してから評価する（FATE）アーキテクチャは、文脈効果をどのように比較してモデル化できるか？
• RQ3 FETA-Net と FATE-Net は、非線形順序付けタスクにおいて、従来の文脈無視型順序付けモデルをどの程度上回るか？
• RQ4 FETA および FATE の表現は、順序付け文脈におけるアイテム間の高次相互作用をどの程度表現可能か？
• RQ5 これらのアーキテクチャは、順序付けサイズの変動や実世界の順序付け問題へ一般化可能か？

主な発見

• メドイドおよびハイパーボリュームの合成データセットでは、FATE-Net が 92.0% ± 0.3% の0/1順序付け精度を達成し、RankNet や ListNet が僅か 68.3% ± 0.1% にとどまるのを著しく上回った。
• ERR および RankSVM は、これらのデータセットで完全に失敗し、スピアマン相関がゼロとなった。これは、非線形性が著しい問題に対して線形モデル仮定を採用しているためである。
• 相対的深さ推定データセットでは、FATE-Net が 81.4% の0/1順序付け精度を達成し、RankBoost（80.6%）や他のベースラインをわずかに上回った。
• FETA-Net は相対的深さデータセットでスピアマン相関 0.729 および 0/1順序付け精度 81.3% を達成し、実世界データにおいても強力な性能を示した。
• 結果から、FATE-Net の文脈に配慮した集約メカニズムが、FETA-Net のペアワイズ分解よりも高次相互作用をより効果的に捉えていることが示唆された。
• 本研究は、従来の効用ベースのモデルが失敗する非線形的かつ文脈依存的な好みを、文脈に配慮した深層学習モデルが効果的にモデル化できることを示した。