[論文レビュー] Improving Multi-Interest Network with Stable Learning

Zhaocheng Liu, Yingtao Luo+5 more|arXiv (Cornell University)|Jul 14, 2022

Recommender Systems and Techniques被引用数 4

ひとこと要約

本稿では、ユーザーの関心の間の微細な依存関係に起因する誤った相関を低減することで、順序付き推薦の性能を向上させる、深層的で安定した多関心学習フレームワークであるDESMILを提案する。ヒルベルト＝シュミット独立基準（HSIC）を用いて関心間の依存度を測定し、学習サンプルの重みを学習することで不要な依存関係を抑制することで、分布外（OOD）データにおいて優れた一般化性能を達成し、公開データセット、産業界データセット、および合成データセットのあらゆる分野で最先端のモデルを上回る性能を発揮する。

ABSTRACT

Modeling users' dynamic preferences from historical behaviors lies at the core of modern recommender systems. Due to the diverse nature of user interests, recent advances propose the multi-interest networks to encode historical behaviors into multiple interest vectors. In real scenarios, the corresponding items of captured interests are usually retrieved together to get exposure and collected into training data, which produces dependencies among interests. Unfortunately, multi-interest networks may incorrectly concentrate on subtle dependencies among captured interests. Misled by these dependencies, the spurious correlations between irrelevant interests and targets are captured, resulting in the instability of prediction results when training and test distributions do not match. In this paper, we introduce the widely used Hilbert-Schmidt Independence Criterion (HSIC) to measure the degree of independence among captured interests and empirically show that the continuous increase of HSIC may harm model performance. Based on this, we propose a novel multi-interest network, named DEep Stable Multi-Interest Learning (DESMIL), which tries to eliminate the influence of subtle dependencies among captured interests via learning weights for training samples and make model concentrate more on underlying true causation. We conduct extensive experiments on public recommendation datasets, a large-scale industrial dataset and the synthetic datasets which simulate the out-of-distribution data. Experimental results demonstrate that our proposed DESMIL outperforms state-of-the-art models by a significant margin. Besides, we also conduct comprehensive model analysis to reveal the reason why DESMIL works to a certain extent.

研究の動機と目的

• 多関心ネットワークが、捉えられた関心の間の依存関係に起因する誤った相関により、分布外（OOD）設定で不安定になる問題に対処すること。
• 訓練過程において、HSICで測定される関心間の依存度が高まるにつれてモデル性能が低下することとの相関関係を調査すること。
• ユーザー行動シーケンスにおいて、誤った依存関係ではなく真の因果的パターンに注目するようにモデルを設計すること。
• 微細な関心間依存関係の影響を低減するサンプル重みを学習することで、順序付き推薦における一般化性能を向上させること。

提案手法

• 多関心ネットワークが捉えた複数のユーザー関心ベクトル間の独立度を定量化する統計的指標としてHSICを導入する。
• 関心間の依存度の増加に寄与する訓練サンプルを動的に低重み化する損失関数内のサンプル重み付け機構を提案する。
• 訓練中に無関係な関心間の誤った相関を最小化するように促すため、HSICに基づく正則化項を設計する。
• 微分可能でソフトな重み付け戦略を採用することで、ノイズの多いが関連性のない関心間の相関を抑制しながら、因果的に関連する相互作用に注目できるようにする。
• 収束性と一般化性能のバランスを図るため、早期停止と適応的学習率を用い、安定した学習のための固定λ=1.0を採用する。
• 1ユーザーあたりの関心ベクトル数（c）のチューニングを実施し、Book, CDs and VinylおよびMovies and TVではc=2が最適値であることが判明。産業界データセットではc=6が最適である。

実験結果

リサーチクエスチョン

• RQ1 訓練過程における関心間依存度（HSICで測定）の推移はどのように変化するか。また、性能の劣化と相関関係があるか。
• RQ2 サンプル重み付けによる関心間依存度の制御は、分布シフト下でのモデル一般化性能の向上に寄与するか。
• RQ3 無関係な関心間の誤った相関を低減することで、分布外テストデータ上での性能が向上するか。
• RQ4 学習率や関心ベクトル数といったハイパーパrameterの選択に対して、提案手法はどれほど頑健か。

主な発見

• 訓練過程でHSICが継続的に上昇する傾向があり、これが性能の飽和や低下と相関していることから、関心間依存度の増加がモデル一般化性能に悪影響を及けることが示された。
• Book, CDs and Vinyl、Movies and TVの公開ベンチマークにおいて、DESMILは最先端のモデルを顕著に上回る性能を達成した。
• 大規模な産業界データセットでも、DESMILは特に分布シフト下において優れた頑健性と一般化性能を示した。
• 合成されたOODデータ上でも、DESMILは優れた性能を発揮し、因果的パターンを学習していることが確認された。
• サンプル重みのヒストグラムから、大多数のサンプルが重み1.0付近に割り当てられている一方で、少数のサンプルのみが近似的にゼロの重みを受け取っていることが分かっており、ノイズや無関係な相互作用の有効な除外が行われていることが示された。
• 特にλ=1.0および最適なc値の範囲において、さまざまなハイパーパrameter設定に対して安定した性能を示しており、ハイパーパrameterチューニングの負担が軽減された。