[論文レビュー] Improving Contrastive Learning with Model Augmentation

Zhiwei Liu, Yongjun Chen+4 more|arXiv (Cornell University)|Mar 25, 2022

Recommender Systems and Techniques被引用数 12

ひとこと要約

本稿では、従来のデータ増強に補足する形で、ニューロンマスキング、レイヤードロップ、エンコーダー補完を導入したモデル増強を用いて、視覚ペアを生成する、順序推薦における新しい対照的自己教師付き学習フレームワークを提案する。実験の結果、モデル増強を組み込んだSRMAは、特にデータがスパarsityな状況下でも、ベースラインモデルを大きく上回る推薦性能を示す。

ABSTRACT

The sequential recommendation aims at predicting the next items in user behaviors, which can be solved by characterizing item relationships in sequences. Due to the data sparsity and noise issues in sequences, a new self-supervised learning (SSL) paradigm is proposed to improve the performance, which employs contrastive learning between positive and negative views of sequences. However, existing methods all construct views by adopting augmentation from data perspectives, while we argue that 1) optimal data augmentation methods are hard to devise, 2) data augmentation methods destroy sequential correlations, and 3) data augmentation fails to incorporate comprehensive self-supervised signals. Therefore, we investigate the possibility of model augmentation to construct view pairs. We propose three levels of model augmentation methods: neuron masking, layer dropping, and encoder complementing. This work opens up a novel direction in constructing views for contrastive SSL. Experiments verify the efficacy of model augmentation for the SSL in the sequential recommendation. Code is available\footnote{\url{https://github.com/salesforce/SRMA}}.

研究の動機と目的

• 順序推薦におけるデータスパarsityとノイズを軽減するため、自己教師付き学習を強化すること。
• 従来のデータ増強法に欠ける点を克服すること：ヒューリスティック的であり、順序相関を破壊し、包括的な自己教師信号を捉えきれないこと。
• データ増強の補完的手法として、より強固で情報量の多い視覚ペアを構築するためのモデル増強を検討すること。
• ニューロンマスキング、レイヤードロップ、エンコーダー補完の3段階のモデル増強を体系的に開発・検証し、順序表現学習を向上させること。

提案手法

• 同じシーケンスに2回ドロップアウトを適用することで、同一のエンコーダーレイヤーから2つの異なる視覚ペアを生成する、ニューロンマスキングをモデル増強として提案する。
• トレーニング中にエンコーダーからランダムに全レイヤーを削除することで、摂動を加えた視覚ペアを生成するレイヤードロップを導入し、深層と浅層の特徴の対比を強調する。
• 主モデルのエンコーダーの埋め込みと、事前学習済みの補完的エンコーダー（例：GRU や Transformer）の埋め込みを統合することで、多様な順序パターンを捉えるエンコーダー補完を実装する。
• 標準的なデータ増強（例：クロップ、マスキング、再順序）と組み合わせることで、SRMAモデルにおけるハイブリッドな対照的学習フレームワークを構築する。
• 対照的損失を用い、同一シーケンスからのもの（データ/モデル増強によるポジティブペア）を一致させ、異なるシーケンスからのもの（ネガティブペア）を分離する。
• エンコーダーと増強メカニズムを同時に最適化することで、エンドツーエンドの学習を実現し、適応的な視覚生成を可能にする。

実験結果

リサーチクエスチョン

• RQ1 モデル増強は、順序推薦における対照的自己教師付き学習のための情報量豊富な視覚ペアを構築するうえで、データ増強を上回るか、あるいは補完的役割を果たすことができるか？
• RQ2 ニューロンマスキング、レイヤードロップ、エンコーダー補完といった、モデル増強の異なる段階が、表現学習と推薦性能にどのように影響を与えるか？
• RQ3 モデルベースの摂動を導入することで、データベースの摂動よりも順序相関をよりよく保持できるか？
• RQ4 性能向上を実現するための最適なモデル増強コンponentの設定（例：ドロップアウト確率、ドロップするレイヤー数、補完的エンコーダーの選択）は何か？

主な発見

• スポーツおよびおもちゃのデータセットにおいて、ドロップアウト確率が 0.1 から 0.6 の範囲で、ニューロンマスキングを用いたSRMAは、SASRecをすべての指標で上回り、モデルベースの増強の有効性を示している。
• K=2 個の追加FFNレイヤーと M=1 個のレイヤーをドロップしたレイヤードロップが最良の性能を示したが、K=4 にするとモデルの複雑さが増加し、性能が悪化した。
• スポーツデータセットでは、GRUベースの補完的エンコーダーが最も高い性能を発揮したが、おもちゃデータセットでは、1層のTransformerベースのエンコーダーが最適であった。これは、最適な補完性がデータセットに依存することを示している。
• GRUベースおよびTransformerベースの補完的エンコーダーは、いずれもエンコーダー補完なしのSRMAを常に上回り、対照的学習における多様なエンコーダー統合の必要性を裏付けている。
• アブレーションスタディの結果、ニューロンマスキング、レイヤードロップ、エンコーダー補完の3つのモデル増強手法が、それぞれ独立してかつ顕著に性能向上に寄与していることが確認された。
• データ増強とモデル増強を組み合わせたハイブリッドアプローチは、データ増強のみを用いた場合よりも優れた性能を示し、モデルベースの視覚生成が補完的役割を果たすことを裏付けた。