[論文レビュー] Augmenting recommendation systems using a model of semantically-related terms extracted from user behavior

Khalifeh AlJadda, Mohammed Korayem+6 more|arXiv (Cornell University)|Sep 8, 2014

Recommender Systems and Techniques参考文献 9被引用数 5

ひとこと要約

本稿では、膨大なユーザー検索ログから隠れた意味的関係を抽出することで推薦システムを拡張する、言語に依存しないクラウドソーシング型の意味的関係発見システムを提案する。PGMHD（大規模階層データのための確率的グラフィカルモデル）を用いてユーザーのクエリパターンをモデル化することで、意味的に関連するキーワードを同定し、ユーザー分類を向上させ、最近傍に基づく協調フィルタリングを可能にした。その結果、発見された関連語の誤差率が最大で2%に抑えられ、高い精度を達成した。

ABSTRACT

Common difficulties like the cold-start problem and a lack of sufficient information about users due to their limited interactions have been major challenges for most recommender systems (RS). To overcome these challenges and many similar ones that result in low accuracy (precision and recall) recommendations, we propose a novel system that extracts semantically-related search keywords based on the aggregate behavioral data of many users. These semantically-related search keywords can be used to substantially increase the amount of knowledge about a specific user's interests based upon even a few searches and thus improve the accuracy of the RS. The proposed system is capable of mining aggregate user search logs to discover semantic relationships between key phrases in a manner that is language agnostic, human understandable, and virtually noise-free. These semantically related keywords are obtained by looking at the links between queries of similar users which, we believe, represent a largely untapped source for discovering latent semantic relationships between search terms.

研究の動機と目的

• ユーザーの相互作用データが限られる場合に発生するコールドスタート問題に対処し、推薦精度を向上させること。
• 従来の協調フィルタリングやコンテンツベースフィルタリングの限界を乗り越え、集計されたユーザー行動を活用して検索語間の意味的関係を推定すること。
• 言語固有の自然言語処理に依存せずに、数十億件の検索クエリからドメイン特化された意味的関係をスケーラブルに発見する、言語に依存しない手法を開発すること。
• ユーザーのプロファイルに意味的に関連するキーワードを追加し、クエリパターンに基づくユーザー分類を実施することで、推薦の正確性を向上させること。
• ユーザー分類クラスタ内の最近傍選択を用いて、意味的拡張を協調フィルタリングと統合し、推薦を精緻化すること。

提案手法

• 大規模階層データのための確率的グラフィカルモデル（PGMHD）を用いて、ユーザー検索ログをモデル化し、キーワード間の意味的関係を推定する。
• ユーザーの分類、検索語の抽出、ユーザーごとの語の集約、分類情報と検索語データの統合により、検索ログを事前処理する。
• 類似ユーザーのクエリにおける共起パターンを分析することで、意味的関係を同定するクラウドソーシング型の潜在的意味的関係発見エンジンを適用する。
• PGMHDを用いてユーザー分類の確率スコアを計算し、最もスコアの高いクラスを用いて推薦空間を制約する。
• キーワードのベクトル表現と距離尺度（例：ハミング距離、ユークリッド距離）を用いて、最上位の分類内での類似ユーザーを特定するk-近傍（k-NN）手法を実装する。
• 信頼度のしきい値と近傍の可用性に基づき、検索クエリの拡張、ユーザー分類の拡張、または最近傍の拡張のうち最適な推薦戦略を動的に選択する拡張エンジン（AE）を設計する。

実験結果

リサーチクエスチョン

• RQ1 言語固有の自然言語処理に依存せずに、集計されたユーザー行動から検索語間の意味的関係を効果的に発見できるか？
• RQ2 大規模なユーザー検索ログから抽出された潜在的意味的関係は、特にコールドスタート状況において、推薦システムの精度をどのように向上させることができるか？
• RQ3 クエリパターンに基づくユーザー分類を意味的キーワード拡張と組み合わせることで、推薦精度はどの程度向上するか？
• RQ4 最も確率の高いユーザー分類クラスタ内のユーザーに制限することで、最近傍に基づく協調フィルタリングはどのように改善されるか？
• RQ5 大規模な求人ポータルの実際の検索ログを用いて検証した場合、発見された意味的関係の誤差率はどの程度か？

主な発見

• 本システムは16億件の検索ログから意味的に関連するキーワードを発見し、コンテンツベースフィルタリングの検証において最大2%の誤差率を達成した。
• 意味的関係発見エンジンは、『hadoop』が『big data』、『Java』、『Python』と関連付けられるなど、人間が理解可能な意味的関係を同定した。
• PGMHDモデルにより、スケーラブルで言語に依存しないユーザー意図と分類の推定が可能となり、確率スコアを用いて推薦空間を制約した。
• 最上位のユーザー分類内での最近傍拡張の統合により、最も類似したユーザーに焦点を当てたことで、推薦精度が向上した。
• 拡張エンジンは、信頼度と近傍の可用性に基づき、検索クエリ拡張、ユーザー分類拡張、または最近傍拡張の最適な戦略を動的に選択した。
• 本システムは実世界のプロダクション環境（CareerBuilder）において実用的であることが実証され、1時間に100万件以上の検索、数百万件の求人広告およびレジュメを処理した。