[論文レビュー] Dyadic Prediction Using a Latent Feature Log-Linear Model

Aditya Krishna Menon, Charles Elkan|arXiv (Cornell University)|Jun 10, 2010

Recommender Systems and Techniques参考文献 32被引用数 7

ひとこと要約

本稿では、二項予測のための判別的確率的枠組みとして、潜在的特徴を共同で推定し、利用可能な場合にのみ補助情報も統合するLatent Feature Log-Linear (LFL) モデルを提案する。本モデルは名義的および順序的ラベルを処理でき、サンプル選択バイアスに強く、適切にキャリブレーションされた確率を出力し、確率的勾配降下法を用いて効率的にスケーリングされ、協調フィルタリング、リンク予測、行列補完タスクにおいて競争力ある性能を発揮し、名義的データおよび大規模データセットにおいて最先端の結果を達成した。

ABSTRACT

In dyadic prediction, labels must be predicted for pairs (dyads) whose members possess unique identifiers and, sometimes, additional features called side-information. Special cases of this problem include collaborative filtering and link prediction. We present the first model for dyadic prediction that satisfies several important desiderata: (i) labels may be ordinal or nominal, (ii) side-information can be easily exploited if present, (iii) with or without side-information, latent features are inferred for dyad members, (iv) it is resistant to sample-selection bias, (v) it can learn well-calibrated probabilities, and (vi) it can scale to very large datasets. To our knowledge, no existing method satisfies all the above criteria. In particular, many methods assume that the labels are ordinal and ignore side-information when it is present. Experimental results show that the new method is competitive with state-of-the-art methods for the special cases of collaborative filtering and link prediction, and that it makes accurate predictions on nominal data.

研究の動機と目的

• 既存の二項予測モデルが順序的ラベルを仮定しており、補助情報や潜在的特徴を十分に活用できないという限界を解消すること。
• 名義的および順序的ラベルタイプを同時にサポートする統一モデルを構築し、人工的な順序構造を強制しないこと。
• サンプル選択バイアスに対して耐性を持ち、後続の意思決定のための適切にキャリブレーションされた確率を出力すること。
• 確率的勾配降下法を用いて大規模データセットに効率的にスケーリングし、実世界への適用可能性を確保すること。
• 協調フィルタリング、リンク予測、行列補完タスクにおいて優れた性能を示し、名義的データおよびコールドスタート状況を含むこと。

提案手法

• LFLモデルは、行および列のエンティティの潜在的特徴の低ランク行列近似を用いて、ラベルのログオッズをモデル化する対数線形フレームワークを採用する。
• 補助情報が存在しない場合でも、二項のメンバーに対する潜在的特徴が推定され、識別子のみから効果的な表現学習が可能になる。
• 補助情報は、特徴ベクトルとして表現され、対数線形モデルに潜在的特徴と連結され、柔軟な統合が可能になる。
• ラベルタイプに適した損失関数（名義的ラベルには対数尤度、順序的ラベルには平均絶対誤差）を用いて、確率的勾配降下法で訓練され、同時に最適化が可能になる。
• 対数線形モデルの判別的性質により、サンプル選択バイアス下でも生成モデルの欠点を回避し、適切にキャリブレーションされた確率が得られる。
• 潜在的特徴行列の低ランク構造のおかげで、計算効率が保証され、大規模データセットへのスケーラビリティが確保される。

実験結果

リサーチクエスチョン

• RQ1 同一の二項予測モデルが、順序構造を強制せずに、名義的および順序的ラベルタイプの両方を効果的に処理できるか。
• RQ2 補助情報が欠如している状況、特にコールドスタート状況において、一意の識別子のみから潜在的特徴をどれほど正確に推定できるか。
• RQ3 補助情報を統合することで、二項タスクにおける予測精度がどの程度向上するか。
• RQ4 判別的モデルがサンプル選択バイアスに対して耐性を持ちつつ、適切にキャリブレーションされた確率を出力できるか。
• RQ5 協調フィルタリングおよびリンク予測の分野において、既存手法と比較して、本モデルはどの程度大規模データセットにスケーリングできるか。

主な発見

• アラヤワラ族のキルシャップデータセットにおいて、LFLモデルはテストセットAUC 0.9475 ± 0.0005を達成し、IBP single (0.9443) やIRM single (0.9310) といった既存手法を上回った。
• USPS手書き数字の行列補完タスクにおいて、ランクk=3のLFLモデルは、損傷を受けた画像の下半分を正確に再構築でき、上半分の情報が限られた状況でも正確な再構築が可能だった。
• 協調フィルタリングおよびリンク予測タスクにおいて、LFLモデルは競争力ある性能を示し、名義的ラベルのより一般的なケースを扱っているにもかかわらず、精度の著しい低下がなかった。
• 補助情報を統合した場合、以前に登録のなかったユーザーまたはアイテムが含まれるテストの二項においても、強力な予測が得られた。
• LFLモデルは適切にキャリブレーションされた確率を出力し、製品推薦のコスト・ベネフィット分析などの意思決定フレームワークでの信頼できる使用が可能になった。
• 確率的勾配降下法により、大規模データセットにおける効率的な学習が可能となり、本モデルの実世界応用へのスケーラビリティが裏付けられた。