[論文レビュー] A Hierarchical Contextual Attention-based GRU Network for Sequential Recommendation

Qiang Cui, Shu Wu+2 more|arXiv (Cornell University)|Nov 14, 2017

Recommender Systems and Techniques参考文献 29被引用数 11

ひとこと要約

本稿では、入力と隠れ状態の両方における二段階のアテンション機構を用いて、長期的なユーザーの好みと短期的な関心を同時にモデル化することで、順序付き推薦を向上させる階層的文脈アテンションベースのGRUネットワーク、HCA-GRUを提案する。この手法は、2つの実世界のデータセットにおいて標準的なRNNおよびSOTAベースラインを上回り、MAPやNDCGといった順位付け指標で最先端の性能を達成した。

ABSTRACT

Sequential recommendation is one of fundamental tasks for Web applications. Previous methods are mostly based on Markov chains with a strong Markov assumption. Recently, recurrent neural networks (RNNs) are getting more and more popular and has demonstrated its effectiveness in many tasks. The last hidden state is usually applied as the sequence's representation to make recommendation. Benefit from the natural characteristics of RNN, the hidden state is a combination of long-term dependency and short-term interest to some degrees. However, the monotonic temporal dependency of RNN impairs the user's short-term interest. Consequently, the hidden state is not sufficient to reflect the user's final interest. In this work, to deal with this problem, we propose a Hierarchical Contextual Attention-based GRU (HCA-GRU) network. The first level of HCA-GRU is conducted on the input. We construct a contextual input by using several recent inputs based on the attention mechanism. This can model the complicated correlations among recent items and strengthen the hidden state. The second level is executed on the hidden state. We fuse the current hidden state and a contextual hidden state built by the attention mechanism, which leads to a more suitable user's overall interest. Experiments on two real-world datasets show that HCA-GRU can effectively generate the personalized ranking list and achieve significant improvement.

研究の動機と目的

• RNNが時間的依存性の単調な仮定を採用しているため、ユーザーの短期的関心を適切にモデル化できないという限界を解消すること。
• 最近のアイテム間の複雑な局所的相関を捉えることで、順序付き推薦を向上させること。
• 長期的依存性と短期的関心を効果的に統合し、より良いユーザー表現を実現すること。
• 最近のアイテムおよび隠れ状態に対して、非単調的かつ時間に依存しない重みを割り当てる階層的アテンション機構を構築すること。
• ベイジアンパーソナライズドランクイング（BPR）およびタイムスライスを介したバックプロパゲーション（BPTT）を用いて、パーソナライズドランクイングにおける優れた性能を達成すること。

提案手法

• 二段階の階層的アーキテクチャを導入：最初の段階として、入力系列に対するアテンションを用いて、最近のアイテムから文脈的な入力を構築する。
• 動的で非単調的な重みを最近の入力に割り当てることで、局所的なアイテム相関をより良くモデル化できるようにするアテンション機構を適用する。
• 別のアテンション機構を用いて、最近の隠れ状態から文脈的な隠れ状態を構築し、短期的関心のパターンを捉える。
• 現在の隠れ状態と文脈的な隠れ状態を統合することで、長期的および短期的関心を組み合わせたより豊かなユーザー表現を形成する。
• 文脈的モデリングのため、学習可能な窓幅を用いたウィンドウベースのアプローチを、入力および隠れ状態の両方で採用する。
• 順序付き推薦タスクにおける順位付け性能を最適化するため、BPR損失とBPTTを用いてモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 階層的アテンション機構は、順序付き推薦におけるユーザーの短期的関心のモデル化を改善できるか？
• RQ2 入力レベルと隠れ状態レベルのアテンションを分離することで、標準的なRNNを上回る表現学習が可能になるか？
• RQ3 入力と隠れ状態の文脈的モデリングに用いる窓サイズは、異なる順序付き推薦データセットにおいて性能にどのように影響するか？
• RQ4 RNNの固定された時間的減衰とは対照的に、非単調なアテンション重みは、最近のユーザー行動における重要なアイテムをより良く捉えることができるか？
• RQ5 提案されたHCA-GRUは、MAPやNDCGといった順位付け指標で最先端の性能を達成できるか？

主な発見

• HCA-GRUは、TaobaoおよびOutbrainの両方のデータセットでMAPおよびNDCGにおいて顕著な向上を達成し、標準的なGRUおよびSOTAベースラインを上回った。
• 入力の文脈的モデリングにおける最適な窓幅は、Taobaoではw_x = 3、Outbrainではw_x = 2であり、データセット固有のシーケンス長への感受性を示した。
• 隠れ状態の文脈的モデリングにおける最適な窓幅は、Taobaoではw_h = 5、Outbrainではw_h = 3であり、これらの値で性能がピークに達した。
• 入力に対するアテンション重みは非単調的で文脈に依存する重要性を示し、時間的近接性に関係なく、重要なアイテムに高い重みが割り当てられた。
• Outbrainでは隠れ状態のアテンション重みが単調に減少する傾向を示したが、Taobaoではより均等に分布しており、行動のダイナミクスに差があることを示唆した。
• Taobaoではw_x = 5、w_h = 5、Outbrainではw_x = 2、w_h = 3の組み合わせが最良の全体的な性能をもたらし、階層的設計の有効性を確認した。