[論文レビュー] One Person, One Model, One World: Learning Continual User Representation without Forgetting

Fajie Yuan, Guoxiao Zhang+4 more|arXiv (Cornell University)|Sep 29, 2020

Domain Adaptation and Few-Shot Learning参考文献 58被引用数 15

ひとこと要約

Conureは、災難的忘却を回避しながら、複数のタスクにわたって継続的にユーザー埋め込みを学習する、最初の生涯型ユーザー表現モデルである。1つの共有バックボーンネットワーク内で、繰り返し重要度の低い重みを pruning することで、過去のタスクのパフォーランスを維持しながら新しいタスクに適応し、最小限のストレージオーバーヘッドで、標準的・マルチタスク・トランスファー学習のベースラインを上回る性能を発揮する。

ABSTRACT

Learning user representations is a vital technique toward effective user modeling and personalized recommender systems. Existing approaches often derive an individual set of model parameters for each task by training on separate data. However, the representation of the same user potentially has some commonalities, such as preference and personality, even in different tasks. As such, these separately trained representations could be suboptimal in performance as well as inefficient in terms of parameter sharing. In this paper, we delve on research to continually learn user representations task by task, whereby new tasks are learned while using partial parameters from old ones. A new problem arises since when new tasks are trained, previously learned parameters are very likely to be modified, and as a result, an artificial neural network (ANN)-based model may lose its capacity to serve for well-trained previous tasks forever, this issue is termed catastrophic forgetting. To address this issue, we present \emph{Conure} the first \underline{con}tinual, or lifelong, \underline{u}ser \underline{re}presentation learner -- i.e., learning new tasks over time without forgetting old ones. Specifically, we propose iteratively removing less important weights of old tasks in a deep user representation model, motivated by the fact that neural network models are usually over-parameterized. In this way, we could learn many tasks with a single model by reusing the important weights, and modifying the less important weights to adapt to new tasks. We conduct extensive experiments on two real-world datasets with nine tasks and show that \emph{Conure} largely exceeds the standard model that does not purposely preserve such old "knowledge", and performs competitively or sometimes better than models which are trained either individually for each task or simultaneously by merging all task data.

研究の動機と目的

• 新しいタスクの学習時に、以前に学習したタスクのパフォーマンスが低下するという、生涯型ユーザー表現学習における災難的忘却の課題に対処すること。
• 再訓練や別々のモデルの保存を必要とせず、1つの統合モデルが多様なユーザー関連タスク（例：推薦、プロフィール予測）を効果的に処理できるようにすること。
• 各タスクごとに独立したモデルを学習するのではなく、パラメータを再利用・選択的に変更することで、ストレージおよび計算コストを削減すること。
• アーキテクチャに依存しない実用的でスケーラブルなフレームワークを構築し、最小限の忘却で逐次的なタスク学習を可能にする、生涯型ユーザーモデリングのための枠組みを提供すること。

提案手法

• 過去に学習したタスクの重要でないパラメータを段階的にpruningすることで、重要な知識を保持する、生涯型ユーザー表現モデルConureを提案する。
• 深層ニューラルネットワークの中間層に対して、構造的マグニチュードベースのpruningを適用し、新しいタスクに必要な容量を確保しながら、古いタスクのパフォーマンスを維持する。
• pruningを適用したモデルを、ファインチューニングにより新しいタスクで再学習させることで、重要な重み以外の部分のみを変更してネットワークが適応できるようにする。
• pruningを埋め込み層に拡張し、モデル容量とパフォーマンスへの影響を評価し、埋め込み層のpruningが将来の学習に向けた追加の容量を解放することを実証する。
• ConureをTransformerベースのアーキテクチャと統合し、畳み込みネットワークに限らない適応性を検証し、線形計算量の利点を示す。
• 1つのバックボーンネットワークで全タスクを処理することで、複数のモデルや統合学習の必要性を排除し、逐次的かつ忘却のない継続的学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 1つの深層ニューラルネットワークが、災難的忘却を回避しながら、複数の多様なタスクにわたって継続的にユーザー表現を学習できるか？
• RQ2 動的重みpruningは、過去のタスクの知識を保持しつつ、新しいタスクへの適応を効果的に可能にするか？
• RQ3 Conureは、標準的単一タスク学習、マルチタスク学習、トランスファー学習のベースラインと比較して、パフォーランスおよびストレージ効率の面で優れているか？
• RQ4 Conureは、Transformerのような異なるバックボーンアーキテクチャに効果的に適用可能か？また、さまざまなシーケンス長やタスクタイプにおいて、パフォーマンスを維持できるか？

主な発見

• Conureは、古い知識を保持しない標準モデルを上回り、MLデータセットのタスクT2においてMRR@5で10.9%の相対的改善を達成した。
• Conureは、個別に訓練されたモデルやデータマージによる統合学習のモデルと同等またはそれ以上のパフォーマンスを発揮しながら、大幅に少ないストレージを要する。
• 50%のパラメータをpruningした後でも、ConureはMLデータセットのタスクT2においてMRR@5を0.0183から0.0203に向上させ、パrameter削減に対するロバストネスを示した。
• 80%までのパラメータpruningでも高いパフォーマンスを維持できるが、95%にまでpruningすると収束が遅くなるか、性能が低下する傾向が見られ、最適なpruning範囲は50–80%であると示唆された。
• 埋め込み層へのpruningを拡張することで、追加の容量が解放され、主実験と同等の結果が得られ、将来のタスク学習に有利に働くことがわかった。
• Transformerバックボーンを用いた場合、Conureは強力なパフォーマンスを維持し、3つのタスクにわたる継続的トランスファーを可能にした。これは、一度限りのトランスファー手法であるFineAllを上回る結果であり、生涯学習の能力のおかげである。