[論文レビュー] DKN: Deep Knowledge-Aware Network for News Recommendation

Hongwei Wang, Fuzheng Zhang+2 more|arXiv (Cornell University)|Jan 25, 2018

Topic Modeling参考文献 50被引用数 188

ひとこと要約

DKN は知識グラフ表現をマルチチャネルの、単語とエンティティを揃えた CNN と統合して、知識を意識したニュース表現を作成し、ニュースの CTR を予測する。 Bing News データで最先端のベースラインを上回り、知識と注意機構の追加要素からさらに利得を得る。

ABSTRACT

Online news recommender systems aim to address the information explosion of news and make personalized recommendation for users. In general, news language is highly condensed, full of knowledge entities and common sense. However, existing methods are unaware of such external knowledge and cannot fully discover latent knowledge-level connections among news. The recommended results for a user are consequently limited to simple patterns and cannot be extended reasonably. Moreover, news recommendation also faces the challenges of high time-sensitivity of news and dynamic diversity of users' interests. To solve the above problems, in this paper, we propose a deep knowledge-aware network (DKN) that incorporates knowledge graph representation into news recommendation. DKN is a content-based deep recommendation framework for click-through rate prediction. The key component of DKN is a multi-channel and word-entity-aligned knowledge-aware convolutional neural network (KCNN) that fuses semantic-level and knowledge-level representations of news. KCNN treats words and entities as multiple channels, and explicitly keeps their alignment relationship during convolution. In addition, to address users' diverse interests, we also design an attention module in DKN to dynamically aggregate a user's history with respect to current candidate news. Through extensive experiments on a real online news platform, we demonstrate that DKN achieves substantial gains over state-of-the-art deep recommendation models. We also validate the efficacy of the usage of knowledge in DKN.

研究の動機と目的

• オンラインニュースにおける情報過多を解消し、個別化された推奨を作成する。
• 外部知識グラフを取り入れ、ニュース項目間の潜在的な知識レベルの結びつきを捉える。
• ニュース理解のために単語表現とエンティティ表現を整列させるマルチチャネル KCNN を開発する。
• クリック履歴に基づく注意機構を通じて動的なユーザー関心をモデル化する。
• 実世界の Bing News データで強力なベースラインに対する利得を示す。

提案手法

• エンティティリンキングとワンホップ文脈拡張を通じて、各ニュース項目の知識グラフに富んだ表現を構築する。
• TransD を用いてエンティティ埋め込みを学習し、文脈埋め込みを導出してエンティティ表現を強化する。
• 単語、エンティティ、文脈埋め込みが整列したチャネルを形成する、マルチチャネル知識対応 CNN（KCNN）を提案する。
• 多チャネル入力上の結合畳み込みを可能にするため、変換 g(E) を用いて語とエンティティ空間を整列させる。
• 現在の候補ニュースに対して、ユーザーのクリック履歴を重み付けする注意ネットワークを使用する。
• ユーザーとニュースの埋め込みを結合した後、下流の DNN で CTR を予測する。

実験結果

リサーチクエスチョン

• RQ1 外部知識グラフをニュース推奨にどのように組み込み、記事間の潜在的な知識レベルの結びつきを捉えることができるか？
• RQ2 この領域において、語とエンティティを整列させた KCNN は従来の語のみの CNN より文/ニュース表現を改善するか？
• RQ3 注意機構は履歴クリックから現在の候補ニュースに関する多様なユーザー関心を効果的にモデリングできるか？
• RQ4 ニュース CTR 予測において、知識グラフの文脈を組み込むことと基礎的なテキスト表現を用いることの経験的利得はどれくらいか？

主な発見

モデル	F1	AUC	p-value
DKN	68.9 ± 1.5	65.9 ± 1.2	-
LibFM	61.8 ± 2.1 (-10.3%)	59.7 ± 1.8 (-9.4%)	<10^{-3}
LibFM(-)	61.1 ± 1.9 (-11.3%)	58.9 ± 1.7 (-10.6%)	<10^{-3}
KPCNN	67.0 ± 1.6 (-2.8%)	64.2 ± 1.4 (-2.6%)	0.098
KPCNN(-)	65.8 ± 1.4 (-4.5%)	63.1 ± 1.5 (-4.2%)	0.036
DSSM	66.7 ± 1.8 (-3.2%)	63.6 ± 2.0 (-3.5%)	0.063
DSSM(-)	66.1 ± 1.6 (-4.1%)	63.2 ± 1.8 (-4.1%)	0.045
DeepWide	66.0 ± 1.2 (-4.2%)	63.3 ± 1.5 (-3.9%)	0.039
DeepWide(-)	63.7 ± 0.9 (-7.5%)	61.5 ± 1.1 (-6.7%)	0.004
DeepFM	63.8 ± 1.5 (-7.4%)	61.2 ± 2.3 (-7.1%)	0.014
DeepFM(-)	64.0 ± 1.9 (-7.1%)	61.1 ± 1.8 (-7.3%)	0.007
YouTubeNet	65.5 ± 1.2 (-4.9%)	63.0 ± 1.4 (-4.4%)	0.025
YouTubeNet(-)	65.1 ± 0.7 (-5.5%)	62.1 ± 1.3 (-5.8%)	0.011
DMF	57.2 ± 1.2 (-17.0%)	55.3 ± 1.0 (-16.1%)	<10^{-3}

• DKN は F1 および AUC でベースラインを大幅に上回り、F1 の利得は 2.8% 〜 17.0%、AUC の利得は 2.6% 〜 16.1% で報告されています。
• 知識グラフとその文脈を組み込むことは、知識なしまたは文脈なしの変種より測定可能な改善をもたらします。