[論文レビュー] Beyond Accuracy Optimization: On the Value of Item Embeddings for Student Job Recommendations

Emanuel Lacić, Dominik Kowald+3 more|arXiv (Cornell University)|Nov 21, 2017

Topic Modeling参考文献 19被引用数 3

ひとこと要約

本稿では、学生の就職推薦の精度、多様性、新規性のバランスを高めるために、ニューラルアイテム埋め込みとベースレベル学習（BLL）方程式を組み合わせることを提案する。頻度と最新性を統合することで、BLLに基づく手法は高い精度と多様性を維持しながら、最も優れた新規性性能を達成し、標準的なコンテンツベースおよび協調フィルタリング手法を上回る。

ABSTRACT

In this work, we address the problem of recommending jobs to university students. For this, we explore the utilization of neural item embeddings for the task of content-based recommendation, and we propose to integrate the factors of frequency and recency of interactions with job postings to combine these item embeddings. We evaluate our job recommendation system on a dataset of the Austrian student job portal Studo using prediction accuracy, diversity and an adapted novelty metric. This paper demonstrates that utilizing frequency and recency of interactions with job postings for combining item embeddings results in a robust model with respect to accuracy and diversity, which also provides the best adapted novelty results.

研究の動機と目的

• 学生の就職推薦システムを精度を超えて改善し、多様性と新規性に焦点を当てる。
• ユーザーが求人票とやり取りする頻度と最新性が、推薦品質に与える影響を調査する。
• 人間の記憶理論からのBLL方程式の新規な適応を考案し、コンテンツベース推薦におけるアイテム埋め込みの組み合わせに適用する。
• 実際のユーザー行動（例：応募パターン）を反映する新たな新規性メトリクスを提案・検証する。
• BLLベースの埋め込みと協調フィルタリングを組み合わせることで、より強固な推薦モデルを構築することを示す。

提案手法

• Doc2Vecを用いて、教師なしの方法で求人票の文書から高次元の意味的アイテム埋め込みを学習する。
• アイテム埋め込みを組み合わせる3つの戦略を用いる：LAST（最新のインタラクション）、AVG（過去のインタラクションの平均）、BLL（BLL方程式を用いた頻度と最新性の重み付き組み合わせ）。
• BLL方程式を用いてユーザーの記憶動態をモデル化し、最新性と頻度を重みづけた動的ユーザー好みベクトルを計算する。
• 適応された新規性メトリクス Novelty* を導入し、1 - |N_A - N@k| で定義する。ここで、N_A = 0.58 は実際の求人応募の平均新規性である。
• k=3 および k=6 の推薦件数を想定し、オーストリアの学生求人ポータル「Studo」の実データセットを用いて評価する。
• 最も性能の良いBLLベースのアイテム埋め込みを、ラウンドロビン方式でユーザーベースの協調フィルタリングと組み合わせることで、全体の性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 アイテム埋め込みは、精度を超えて多様性と新規性の面でも就職推薦のパフォーマンスを向上させることができるか？
• RQ2 ユーザーが求人票とやり取りする頻度と最新性は、コンテンツベース推薦の品質にどのように影響するか？
• RQ3 人間の記憶理論から得たBLL方程式をアイテム埋め込みの組み合わせに統合することで、よりバランスの取れた推薦が得られるか？
• RQ4 実際のユーザー応募行動を反映する適応された新規性メトリクスは、標準的な全体の注目度に基づく新規性測定よりも意味のある評価を提供できるか？
• RQ5 BLLベースのアイテム埋め込みと協調フィルタリングを組み合わせることで、より強固な推薦システムが得られるか？

主な発見

• BLLベースの手法は、適応された新規性メトリクス（Novelty*）で最高のパフォーマンスを達成し、実際の学生応募の平均新規性（0.58）に非常に近い値を達成した。
• BLL方程式を適用した結果、LAST戦略に比べてわずかに精度が低下したが、CBF手法に比べて多様性が著しく向上し、Novelty* メトリクスでは他のすべての手法を上回った。
• AVG戦略は最高の多様性を達成したが、精度が低下するという代償を伴うため、これらの指標にはトレードオフの関係があることが示された。
• 埋め込み次元を200または300に増加させたところ、新規性スコアが上昇し、Novelty* のパフォーマンスが悪化した。これは、高次元化が末端のアイテムに過剰に重みを置く傾向があることを示唆している。
• 最も優れたBLLベースの埋め込みを協調フィルタリングと組み合わせることで、高い精度、良好な多様性、およびほぼ最適な新規性（Novelty* ≈ 0.01の目標値からの偏差）を達成する強固なモデルが得られた。
• 結果から、人間の記憶原理（BLLを介して）を埋め込みの組み合わせに統合することで、ユーザー満足度が多様性と関連性の両面で求められる実世界の環境で、推薦品質が向上することが示された。