[論文レビュー] Neural News Recommendation with Attentive Multi-View Learning

Chuhan Wu, Fangzhao Wu+4 more|arXiv (Cornell University)|Jul 12, 2019

Topic Modeling参考文献 19被引用数 33

ひとこと要約

この論文は、NAMLを紹介します。ニュースの統一表現を複数のビュー（タイトル、本文、カテゴリ）から学習するニューラルニュースレコメンダで、語彙・ニュース・ビューレベルの注意機構を用い、閲覧ニュースからユーザー表現を構築して推奨を改善します。

ABSTRACT

Personalized news recommendation is very important for online news platforms to help users find interested news and improve user experience. News and user representation learning is critical for news recommendation. Existing news recommendation methods usually learn these representations based on single news information, e.g., title, which may be insufficient. In this paper we propose a neural news recommendation approach which can learn informative representations of users and news by exploiting different kinds of news information. The core of our approach is a news encoder and a user encoder. In the news encoder we propose an attentive multi-view learning model to learn unified news representations from titles, bodies and topic categories by regarding them as different views of news. In addition, we apply both word-level and view-level attention mechanism to news encoder to select important words and views for learning informative news representations. In the user encoder we learn the representations of users based on their browsed news and apply attention mechanism to select informative news for user representation learning. Extensive experiments on a real-world dataset show our approach can effectively improve the performance of news recommendation.

研究の動機と目的

• 複数の情報源（タイトル、本文、カテゴリ）を活用して、単一ニュースビューを超えるニュース表現とユーザー表現を改善する動機付け。
• 語彙レベルとビュー補正の注意機構を用いて、多様なビューを統合する attentivemulti-view ニュースエンコーダを開発する。
• 閲覧したニュースを用いて有益な情報を選択するユーザーエンコーダを構築する。
• 候補ニュース表現との内積に基づくクリック予測器を実装する。
• 実世界の MSN News データで評価し、ベースラインに対する性能向上を示す。

提案手法

• ニュースエンコーダは4つの構成要素から成る: CNNと語彙レベルの注意を用いるタイトルエンコーダ、CNNと語彙レベルの注意を用いる本文エンコーダ、カテゴリIDを密結合層へ変換するカテゴリエンコーダ、タイトル・本文・カテゴリ・サブカテゴリのビューの重要性を重み付けするビュー層注意機構。
• ビュー層注意を用いてビューを結合して統一ニュース表現を計算する: r = alpha_c r^c + alpha_sc r^sc + alpha_t r^t + alpha_b r^b。
• ユーザーエンコーダでは、閲覧ニュース表現に対するニュースレベルの注意を適用してユーザー表現を学習する: u = sum_i alpha_i^n r_i。
• 内部積 y_hat = u^T r_c をクリック確率予測子として使用し、訓練時にはネガティブサンプリングを行い pseudo K+1 分類タスクを形成する。
• 正例とサンプルされたネガティブ例に対するソフトマックス正規化を用いたネガティブロスの対数尤度でエンドツーエンドに訓練する（K=4）。
• 実験設定: MSN News データセットは 10k ユーザー、42,255 ニュースアイテム、489,644 ポジティブ、6,651,940 ネガティブ; 埋め込み 300/100、CNNフィルタ 400、ウィンドウ 3、ドロップアウト 20%、Adam 最適化、バッチ 100。

実験結果

リサーチクエスチョン

• RQ1 マルチビュー（タイトル、本文、カテゴリ）の情報は、単一ビューのアプローチを超えてニュース表現学習を改善できるか？
• RQ2 語彙レベルおよびビュー級の注意は、ニュース表現の有益な語とビューの選択を改善するか？
• RQ3 閲覧ニュースを活用した注意機構ベースのユーザーエンコーダは、クリック予測のためのユーザー表現を改善できるか？
• RQ4 NAMLは現実データ上で、基礎となるニューラルおよび伝統的推奨法と比較してどの程度 優れているか？

主な発見

Methods	AUC	MRR	nDCG@5	nDCG@10
LibFM	0.5880	0.3054	0.3202	0.4090
CNN	0.5909	0.3068	0.3221	0.4109
DSSM	0.6114	0.3188	0.3261	0.4185
Wide&Deep	0.5846	0.3009	0.3167	0.4062
DeepFM	0.5896	0.3066	0.3221	0.4117
DFM	0.5996	0.3133	0.3288	0.4165
DKN	0.5966	0.3113	0.3286	0.4165
NAML*	0.6434	0.3411	0.3670	0.4501

• NAMLはすべてのベースラインをAUC、MRR、nDCG@5、nDCG@10で上回り、最良の変種（NAML*）はすべてのベースラインに対して有意に改善（p<0.001）。
• 本文ビューの利用はタイトルやカテゴリのみよりも強い性能を示し、すべてのビューを組み合わせるとさらなる向上が得られる。
• 語彙レベル、ニュースレベル、ビュー級の注意はそれぞれ性能に寄与し、それらの組み合わせが最良の結果を提供する。
• ビュー級の注意は本文ビューが一般的に情報量が多いことを示す一方で、カテゴリビューはトピックにとって高い情報量を持つ場合があり、マルチビューアプローチの妥当性を裏付ける。