[論文レビュー] Maximum entropy for collaborative filtering

C. Lawrence Zitnick, Takeo Kanade|arXiv (Cornell University)|Jul 7, 2004

Data Stream Mining Techniques参考文献 20被引用数 50

ひとこと要約

この論文は、協調フィルタリングにおけるスパースデータと可変条件付けを扱うために、非標準的なエントロピー測度を用いた最大エントロピーアプローチを提案する。問題を連立一次方程式に再定式化することで、一貫しない入出力マッピングや高次相互作用のサポートが限られる状況下でも、条件付き確率の効率的計算が可能になる。

ABSTRACT

Within the task of collaborative filtering two challenges for computing conditional probabilities exist. First, the amount of training data available is typically sparse with respect to the size of the domain. Thus, support for higher-order interactions is generally not present. Second, the variables that we are conditioning upon vary for each query. That is, users label different variables during each query. For this reason, there is no consistent input to output mapping. To address these problems we purpose a maximum entropy approach using a non-standard measure of entropy. This approach can be simplified to solving a set of linear equations that can be efficiently solved.

研究の動機と目的

• 高次相互作用に十分なサポートがない協調フィルタリングにおけるスパースな学習データの課題に対処すること。
• 異なるユーザーが異なる特徴を問い合わせる可変条件付けの状況を扱い、一貫した入出力マッピングが崩れる問題に対処すること。
• これらの制約下で条件付き確率をスケーラブルかつ効率的に計算する手法を開発すること。
• 協調フィルタリングデータの不規則な構造に適した、非標準的なエントロピー測度を提案すること。

提案手法

• 協調フィルタリングデータの不規則でスパースな性質に適合した非標準的なエントロピー測度を用いる。
• 最大エントロピー問題を一次方程式の連立系に再定式化し、効率的な解法を可能にする。
• 観測データから導かれる制約のもとで、条件付き確率を推定するために最大エントロピーの原理を適用する。
• 各ユーザーのアクティブな特徴を固有の制約集合として扱い、クエリごとの可変な入力特徴を処理する。
• 観測された同時発生統計を満たしつつエントロピーを最大化する確率分布を求める。
• 最適化における双対性を活用して、エントロピー最大化を解ける一次方程式系に変換する。

実験結果

リサーチクエスチョン

• RQ1 学習データがスパースで、低次相互作用しかサポートしない状況下で、条件付き確率を信頼性高く推定する方法は何か？
• RQ2 可変入力構造をとるユーザークエリに最も適したエントロピー定式化は何か？
• RQ3 最大エントロピーの原理は、スパースで高次元の協調フィルタリングの状況で過学習を回避するために適応可能か？
• RQ4 実用的導入を念頭においたエントロピー最大化の計算複雑性をどのように低減できるか？

主な発見

• 提案手法により、最大エントロピー問題が一次方程式の連立系に変換され、効率的かつスケーラブルな推論が可能になる。
• 非標準的なエントロピー測度は、協調フィルタリングに一般的なスパarsityと可変入力構造を効果的に処理する。
• 観測データと整合する最も均一な分布を優遇することで、過学習を回避する。
• 高次相互作用がデータでサポートされていなくても、安定した確率推定が得られる。
• 計算的に実行可能であるため、リアルタイムまたは大規模なレコメンデーションシステムに適している。
• 部分的なユーザーのフィードバックを統合する原理的かつ整合性のあるフレームワークを提供するが、クエリ間で特徴集合を一貫させる必要がない。