[論文レビュー] Solving Cold-Start Problem in Large-scale Recommendation Engines: A Deep Learning Approach

Jianbo Yuan, Walid Shalaby+4 more|arXiv (Cornell University)|Nov 16, 2016

Recommender Systems and Techniques参考文献 21被引用数 5

ひとこと要約

本稿では、協同フィルタリング（CF）ベースの推薦システムにおけるコールドスタート問題を解決するため、ドキュメント埋め込み手法としてdoc2vecを用いた深層学習ベースのアプローチを提案する。これにより、CFコアを変更せずに新規アイテムに対する正確な推薦が可能になる。文脈的メタデータを活用することで類似度マッチングを向上させ、2時間未塔の日常的推論時間で実現可能な高精度かつスケーラブルな実世界の求人推薦システムを実現した。

ABSTRACT

Collaborative Filtering (CF) is widely used in large-scale recommendation engines because of its efficiency, accuracy and scalability. However, in practice, the fact that recommendation engines based on CF require interactions between users and items before making recommendations, make it inappropriate for new items which haven't been exposed to the end users to interact with. This is known as the cold-start problem. In this paper we introduce a novel approach which employs deep learning to tackle this problem in any CF based recommendation engine. One of the most important features of the proposed technique is the fact that it can be applied on top of any existing CF based recommendation engine without changing the CF core. We successfully applied this technique to overcome the item cold-start problem in Careerbuilder's CF based recommendation engine. Our experiments show that the proposed technique is very efficient to resolve the cold-start problem while maintaining high accuracy of the CF recommendations.

研究の動機と目的

• 新規アイテムにユーザーの相互作用データが存在しない大規模な協同フィルタリング（CF）推薦システムにおけるコールドスタート問題に対処すること。
• CFエンジンのコアアーキテクチャを変更せずに統合可能なプラグアンドプレイ型ソリューションを開発すること。
• 深層学習を用いた文書類似度を活用することで、新規アイテムの推薦精度を向上させること。
• 機能的差異を捉える文脈的メタデータを活用することで、モデル性能を向上させること。
• 求人推薦プラットフォームなどの生産環境において、日常的でスケーラブルなデプロイメントを可能にすること。

提案手法

• 提案手法は、文書類似度計算のための密なベクトル表現を学習する最先端の深層学習モデル、doc2vecを用い、アイテムの説明文（例：求人情報、履歴書）の埋め込み表現を生成する。
• CFコアと推薦出力の間にペアリング層を挿入し、新規アイテムを学習済みのドキュメント埋め込みを用いて既存アイテムと照合する。
• 職務名、必須スキル、経験レベルなどの文脈的メタデータをdoc2vecモデルの入力に組み込むことで、意味的に類似しているが機能的に異なるアイテム間の区別を向上させる。
• 任意の既存CFエンジンと互換性があり、推薦ロジックに変更を加えずにシームレスに統合可能なモジュラーアーキテクチャとして設計されている。
• マルチプロセスコンピューティングを採用し、日常的な再トレーニングと推論を可能にした。24コア環境で、doc2vecを含む全パイプラインが2時間以内に完了した。
• CareerBuilderの実世界の求人推薦データを用いて評価し、TF-IDF や LDA などのベースラインモデルと性能を比較した。

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースのドキュメント埋め込みモデルは、CFベースの推薦システムにおける新規アイテムのコールドスタート問題を効果的に解決できるか？
• RQ2 文脈的メタデータを組み込むことで、高い文書類似度だが機能的関連性が低い状況でのアイテム同士のマッチング精度はどの程度向上するか？
• RQ3 本手法は、CFエンジンのコアコンponentsを変更せずに、既存のCFエンジンにどの程度統合可能か？
• RQ4 実世界の大規模なデプロイメント環境において、本ソリューションの計算効率とスケーラビリティはどの程度か？
• RQ5 本手法は、アイテム推薦以外のコールドスタートシナリオ、例えば検索の関連性やランク付けに一般化可能か？

主な発見

• 文脈的特徴を組み込んだdoc2vecモデルは、ベースラインモデル（例：TF-IDF、LDA）を著しく上回り、特にテキスト的に類似しているが機能的関連性が低いケースでの新規アイテムの関連アイテムマッチングにおいて優れた性能を示した。
• 文脈的メタデータの組み込みにより、HVAC技術者とバンケットハウスパーソンなど、見た目は似ているが機能的に異なる求人情報間の誤ったマッチング数を削減した。
• モデル推論と日常的再トレーニングを含む全パイプラインが、24コアシステムで2時間以内に完了し、日常的デプロイメントに適した性能を示した。
• CFエンジンのコアを変更せずに、新規求人情報にユーザーの相互作用履歴が一切ない状況でも、求職者への求人推薦において高い精度を達成した。
• 本手法は強力なスケーラビリティと効率性を示し、生産環境規模のテストで100万件以上のドキュメントを正常に処理した。
• マルチモーダルなユーザー同士およびユーザー-求人間類似度モデルの初期結果は、本ソリューションをCFシステムにおけるユーザーのコールドスタート問題に対しても拡張可能であると示唆している。