[論文レビュー] Integrating User and Item Reviews in Deep Cooperative Neural Networks for Movie Recommendation

Aristeidis Karras, Christos Karras|arXiv (Cornell University)|May 12, 2022

Recommender Systems and Techniques被引用数 5

ひとこと要約

本論文は、ユーザーのレビューよりユーザー行動を、アイテムのレビューよりアイテム属性を、並列なCNNと共有された潜在要因層を用いて共同でモデル化する深層協調ニューラルネットワーク、DeepCoNNを提案する。このモデルはベースライン推薦システムを上回り、100次元のGloVe埋め込みとドロップアウト正則化を用いた場合、Amazon Instant VideoデータセットでMSE 0.8549という最低水準を達成した。

ABSTRACT

User evaluations include a significant quantity of information across online platforms. This information source has been neglected by the majority of existing recommendation systems, despite its potential to ease the sparsity issue and enhance the quality of suggestions. This work presents a deep model for concurrently learning item attributes and user behaviour from review text. Deep Cooperative Neural Network (DeepCoNN) is the suggested model consisting of two parallel neural networks connected in their final layers. One of the networks focuses on learning user behaviour from reviews submitted by the user, while the other network learns item attributes from user reviews. On top, a shared layer is added to connect these two networks. Similar to factorization machine approaches, the shared layer allows latent factors acquired for people and things to interact with each other. On a number of datasets, DeepCoNN surpasses all baseline recommendation systems, according to experimental findings.

研究の動機と目的

• 共同フィルタリングにおけるデータスパarsityを、テキストレビュー情報を活用することで緩和すること。
• レビューのテキストからユーザー行動とアイテム属性を共同でモデル化することで、推薦精度を向上させること。
• 深層学習アーキテクチャ（CNN、LSTM、GRU）が、テキストデータと評価データを統合する推薦にどのように寄与するかを評価すること。
• 単語埋め込みの次元数とドロップアウト正則化が、モデルの汎化性能に与える影響を調査すること。

提案手法

• モデルは2つの並列な畳み込みニューラルネットワーク（CNN）を用いる：一方はユーザーのレビューテキストを処理してユーザー行動を学習し、もう一方はアイテムのレビューテキストを処理してアイテム属性を学習する。
• 2つのネットワークの最終層は、学習されたユーザーとアイテムの潜在要因間の相互作用を可能にする共有層によって接続され、因子分解マシンを模倣する。
• テキスト表現にはGloVeを用い、性能比較のため50次元および100次元のバージョンをテストした。
• 3つのアーキテクチャ（CNN、LSTM、GRU）を評価し、過学習を軽減するためドロップアウトを適用した。特にRNNベースのモデルではその効果が顕著であった。
• モデルの学習には、評価予測のための平均二乗誤差（MSE）損失関数を用い、訓練中に検証損失をモニタリングした。
• ハイパーパramータチューニングは、埋め込みサイズとドロップアウト率に焦点を当て、同一の設定下で各モデル間の比較を実施した。

実験結果

リサーチクエスチョン

• RQ1 ユーザーとアイテムのレビューデータを統合することで、スパースな推薦環境における評価予測精度が向上するか？
• RQ2 DeepCoNNは、従来の共同フィルタリングや他の深層学習ベースの推薦モデルと比較して、性能に優れているか？
• RQ3 単語埋め込みの次元数を増加させることでモデル性能が向上するのか、それとも過学習を引き起こすのか？
• RQ4 ドロップアウト正則化は、特にLSTMやGRUのようなRNNベースのモデルにおいて、どの程度汎化性能を向上させるか？
• RQ5 CNN、LSTM、GRUのうち、性能と学習効率のバランスが最も優れているのはどれか？

主な発見

• 100次元のGloVe埋め込みとドロップアウトを適用したCNNベースのDeepCoNNが、検証MSE 0.8549という最低水準を記録し、他のすべての設定を上回った。
• ドロップアウト正則化はLSTMおよびGRUモデルの汎化性能を向上させたが、特に高次元の埋め込みでは過学習の問題が残った。
• 100次元の埋め込み設定ではGRUモデルの性能が悪化した。これは過学習の可能性が高く、高次元化が常に性能向上に繋がるわけではないことを示唆している。
• RNNと比較してCNNアーキテクチャは過学習が少なく、これが元のDeepCoNN研究においてドロップアウトがそれほど重要でなかった理由であると考えられる。
• 学習の複雑性は高かったが、LSTMおよびGRUモデルは、増分的な精度向上の可能性を示したが、より長い訓練時間を要した。
• 本研究は、DeepCoNNがテキストレビュー情報を効果的に活用することで、スパースなデータ環境下でも従来の共同フィルタリングを顕著に上回ることを確認した。