[論文レビュー] COMET: Convolutional Dimension Interaction for Collaborative Filtering

Zhuoyi Lin, Lei Feng+5 more|arXiv (Cornell University)|Jul 28, 2020

Recommender Systems and Techniques参考文献 33被引用数 4

ひとこと要約

COMETは、スタックされた埋め込みマップ上の畳み込みニューラルネットワーク（CNN）を用いて、履歴ユーザ・アイテム相互作用と埋め込み次元の間の高次相互作用を捉える、新しい協調フィルタリングモデルを提案する。内部（相互作用レベル）および次元（埋め込みレベル）の両方の相互作用を同時にモデル化することで、COMETは暗黙的フィードバックデータセットにおいて、最先端の手法を上回る推薦パフォーマンスを実現する。

ABSTRACT

Representation learning-based recommendation models play a dominant role among recommendation techniques. However, most of the existing methods assume both historical interactions and embedding dimensions are independent of each other, and thus regrettably ignore the high-order interaction information among historical interactions and embedding dimensions. In this paper, we propose a novel representation learning-based model called COMET (COnvolutional diMEnsion inTeraction), which simultaneously models the high-order interaction patterns among historical interactions and embedding dimensions. To be specific, COMET stacks the embeddings of historical interactions horizontally at first, which results in two "embedding maps". In this way, internal interactions and dimensional interactions can be exploited by convolutional neural networks (CNN) with kernels of different sizes simultaneously. A fully-connected multi-layer perceptron (MLP) is then applied to obtain two interaction vectors. Lastly, the representations of users and items are enriched by the learnt interaction vectors, which can further be used to produce the final prediction. Extensive experiments and ablation studies on various public implicit feedback datasets clearly demonstrate the effectiveness and rationality of our proposed method.

研究の動機と目的

• 既存の表現学習ベースの推薦モデルが、履歴相互作用と埋め込み次元の間の高次相互作用を無視するという限界を解消すること。
• 履歴相互作用間の内部的相互作用パターン（相互作用レベル）と、埋め込み次元間の次元的相互作用パターン（埋め込みレベル）を同時にモデル化すること。
• レビューや知識グラフなどの補助データを必要とせず、学習された相互作用信号を組み込むことで、ユーザおよびアイテムの表現を向上させること。
• 畳み込みネットワークが協調フィルタリングにおける複雑な高次相互作用パターンを捉える有効性を実証すること。

提案手法

• ユーザまたはアイテムの履歴相互作用の埋め込みを水平にスタックして、相互作用レベルおよび次元レベルのパターンを符号化する2つの「埋め込みマップ」を構築する。
• 複数のカーネルサイズを用いた畳み込みニューラルネットワーク（CNN）を適用し、両方の埋め込みマップから高次相互作用信号を抽出する。
• CNNの出力を処理するための全結合多層パーセプトロン（MLP）を用い、ユーザおよびアイテムのための2つの相互作用ベクトルを生成する。
• 最終的な予測スコアを計算する前に、元のユーザおよびアイテム表現に、学習された相互作用ベクトルを連結して豊かにする。
• 過学習を防ぐためにL2正則化を用いた確率的勾配降下法を用いて、モデルをエンドツーエンドで訓練する。
• パラメータ効率の良い方法として、CNNカーネルを通じて外積演算を暗黙的に利用し、2項および高次元の相互作用をモデル化する。

実験結果

リサーチクエスチョン

• RQ1 履歴相互作用と埋め込み次元の間の高次相互作用をモデル化することで、協調フィルタリングにおける推薦パフォーマンスが向上するか？
• RQ2 内部（相互作用レベル）および次元（埋め込みレベル）の相互作用は、暗黙的フィードバック設定における表現学習にどのように寄与するか？
• RQ3 元の表現と学習された相互作用ベクトルの相対的な寄与度は、最終的な予測精度にどのように影響するか？
• RQ4 埋め込みサイズ、正則化、CNNチャネル数などのハイパーパrameterに、提案手法はどれほど感受性を示すか？

主な発見

• COMETは、HR@10およびNDCG@10の指標において、複数の公開された暗黙的フィードバックデータセットで最先端のモデルを上回る性能を示した。
• アブレーションスタディの結果、元の表現と学習された相互作用ベクトルを組み合わせることで最高のパフォーマンスが得られ、相互作用に配慮した表現学習の価値を確認した。
• より大きな埋め込みサイズを用いることでパフォーマンスが向上し、より豊かな表現が学習を促進することが示された。
• 最適な正則化パラメータは[5e-6, 1e-5]の範囲にあり、過学習とアンダーフィットの両方のバランスを取っていた。
• CNNチャネル数の変化に関わらずパフォーマンスが安定しており、CNNベースの相互作用モデリングのロバストさと高い表現力が裏付けられた。
• 訓練損失がエポックを経て安定して収束しており、提案アーキテクチャの安定的かつ効果的な最適化が示された。