[論文レビュー] LT-OCF: Learnable-Time ODE-based Collaborative Filtering

Jeongwhan Choi, Jinsung Jeon+1 more|arXiv (Cornell University)|Aug 8, 2021

Recommender Systems and Techniques参考文献 50被引用数 6

ひとこと要約

LT-OCFは、ユーザーおよびアイテム埋め込みの進化を共に進化する常微分方程式（ODE）としてモデル化し、特徴量集約の最適な時刻を学習する、学習可能時間のODEベースの協調フィルタリングフレームワークを提案する。3つのベンチマークデータセットにおいて最先端の手法を上回り、RK4などの密なODEソルバーや学習可能な時間ステップを用いることで最高の性能を達成した。

ABSTRACT

Collaborative filtering (CF) is a long-standing problem of recommender systems. Many novel methods have been proposed, ranging from classical matrix factorization to recent graph convolutional network-based approaches. After recent fierce debates, researchers started to focus on linear graph convolutional networks (GCNs) with a layer combination, which show state-of-the-art accuracy in many datasets. In this work, we extend them based on neural ordinary differential equations (NODEs), because the linear GCN concept can be interpreted as a differential equation, and present the method of Learnable-Time ODE-based Collaborative Filtering (LT-OCF). The main novelty in our method is that after redesigning linear GCNs on top of the NODE regime, i) we learn the optimal architecture rather than relying on manually designed ones, ii) we learn smooth ODE solutions that are considered suitable for CF, and iii) we test with various ODE solvers that internally build a diverse set of neural network connections. We also present a novel training method specialized to our method. In our experiments with three benchmark datasets, Gowalla, Yelp2018, and Amazon-Book, our method consistently shows better accuracy than existing methods, e.g., a recall of 0.0411 by LightGCN vs. 0.0442 by LT-OCF and an NDCG of 0.0315 by LightGCN vs. 0.0341 by LT-OCF in Amazon-Book. One more important discovery in our experiments that is worth mentioning is that our best accuracy was achieved by dense connections rather than linear connections.

研究の動機と目的

• 協調フィルタリング（CF）における手動で設計されたアーキテクチャの限界を克服し、最適な構造的コンponentsを学習すること。
• ユーザーおよびアイテム埋め込みの伝搬を連続時間における共進化ODEとしてモデル化し、滑らかで適応的な特徴量学習を可能にすること。
• 層の組み合わせに適した時刻を事前に固定するのではなく、それらを学習することで推薦精度を向上させること。
• さまざまなODEソルバのCFにおける有効性を調査し、特にそれらが誘導する接続パターン（例：密接接続対リセット接続）の影響を明らかにすること。

提案手法

• 線形GCN（例：LightGCN）を、層の組み合わせを連続時間プロセスとして解釈し、微分方程式に従うものとして再定式化することで、ニューラルODEに変換する。
• 学習可能な時刻 $ t_1, t_2, ..., t_T $ を導入し、ユーザーおよびアイテム埋め込みの集約に最適なサンプリング時刻をモデルが学習可能にする。
• Euler法やRK4などの複数のODEソルバを用いてODEを数値的に統合し、異なるソルバが異なる接続パターン（例：RK4では密接続）を誘導することを活用する。
• ODEの連続性と勾配ベースの学習を活用することで、適切に定式化された最適化を実現する、新たな訓練手法を提案する。
• 学習された時刻におけるODEの解を用いて層の組み合わせを形成し、深層ネットワークにおけるリセット接続や密接続に類似した構造を実現する。
• ODEソルバを介した効率的なバックプロパゲーションを実現するため、随伴法（adjoint method）を適用し、エンドツーエンドの訓練を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ODEベースのCFにおける学習可能な時刻は、固定時刻や手動設計アーキテクチャに比べて推薦精度を向上させるか？
• RQ2 どのODEソルバが協調フィルタリングで最高の性能を発揮するか？ また、それらが誘導する接続パターン（例：リセット接続、密接続）はモデルの精度にどのように影響するか？
• RQ3 埋め込み伝搬の連続時間定式化は、スパースなユーザー・アイテム相互作用グラフにおいて、より良い一般化性能と過学習の低減をもたらすか？
• RQ4 密接続のような構造的インダクティブバイアスが、ODEベースのCFにおいて標準的なリセット型アーキテクチャを常に上回るのか？
• RQ5 LT-OCFにおいて、さまざまなODEソルバの間で、計算コストと推薦精度のトレードオフはどのように変化するか？

主な発見

• LT-OCFは、Gowalla、Yelp2018、Amazon-Bookの3つのベンチマークデータセットにおいて、Recall や NDCG といった複数の評価指標で、すべての最先端手法を上回った。
• 最高の性能はRK4 ODEソルバで達成され、これはDenseNetに類似した密接続を内蔵しており、GowallaではRecallが0.1875、NDCGが0.1574を記録した。
• 時刻 $ t_i $ を学習することで、固定時刻設定よりも顕著に性能が向上した。例えば、Gowallaでは時刻を学習したことでRecallが0.1859から0.1875に向上した。
• Euler法は高速ではあるが、RK4ほど精度が高くないが、長時間の訓練・推論を要するにもかかわらず、LightGCNを上回るRecallを達成した。
• K=4およびT=3の設定が最良の結果をもたらし、これは中程度の時間ステップ数と特徴量集約レベルが最適であることを示唆している。
• 高次のソルバ（例：RK4）が誘導する密接続構造が優れていることが判明し、ODEベースのモデルに限らず、協調フィルタリングにおいてもこれが最適なアーキテクチャである可能性が示唆された。