[논문 리뷰] Improving Contrastive Learning with Model Augmentation

Zhiwei Liu, Yongjun Chen외 4명|arXiv (Cornell University)|2022. 03. 25.

Recommender Systems and Techniques인용 수 12

한 줄 요약

이 논문은 전통적인 데이터 증강 외에 모델 증강—신경망 마스킹, 레이어 제거, 인코더 보완—을 도입하여 시퀀스 추천을 위한 새로운 대비적 자기학습 프레임워크를 제안한다. 실험 결과, 모델 증강을 통한 SRMA는 특히 데이터가 희소한 조건에서 기준 모델보다 추천 성능을 크게 향상시킨다.

ABSTRACT

The sequential recommendation aims at predicting the next items in user behaviors, which can be solved by characterizing item relationships in sequences. Due to the data sparsity and noise issues in sequences, a new self-supervised learning (SSL) paradigm is proposed to improve the performance, which employs contrastive learning between positive and negative views of sequences. However, existing methods all construct views by adopting augmentation from data perspectives, while we argue that 1) optimal data augmentation methods are hard to devise, 2) data augmentation methods destroy sequential correlations, and 3) data augmentation fails to incorporate comprehensive self-supervised signals. Therefore, we investigate the possibility of model augmentation to construct view pairs. We propose three levels of model augmentation methods: neuron masking, layer dropping, and encoder complementing. This work opens up a novel direction in constructing views for contrastive SSL. Experiments verify the efficacy of model augmentation for the SSL in the sequential recommendation. Code is available\footnote{\url{https://github.com/salesforce/SRMA}}.

연구 동기 및 목표

• 시퀀스 추천에서 데이터 희소성과 노이즈 문제를 해결하기 위해 자기학습 학습을 향상시키기 위해.
• 기존의 데이터 증강 방법은 히우리스틱적이며 순서적 상관관계를 손상시키고 종합적인 자기학습 신호를 포착하지 못한다는 한계를 극복하기 위해.
• 데이터 증강과의 보완적 접근으로 대비 학습에서 더 견고하고 정보가 풍부한 시각 쌍을 구성하기 위해 모델 증강을 탐색하기 위해.
• 신경망 마스킹, 레이어 제거, 인코더 보완의 세 가지 수준의 모델 증강을 개발하고 검증하여 시퀀스 표현 학습을 향상시키기 위해.

제안 방법

• 동일한 시퀀스에 대해 두 번의 드롭아웃을 적용하여 같은 인코더 레이어에서 두 개의 서로 다른 시각을 생성함으로써, 모델 증강으로서의 신경망 마스킹을 제안한다.
• 학습 중에 인코더의 전체 레이어를 무작위로 제거함으로써 레이어 제거를 도입하여 교란된 시각을 생성하며, 깊이 있는 특징과 浅층 특징 간의 대비를 강조한다.
• 주 모델의 인코더에서 얻은 임베딩과 사전 학습된 보조 인코더(예: GRU 또는 Transformer)의 임베딩을 융합하여 인코더 보완을 구현함으로써 다양한 순서적 패턴을 포착한다.
• 표준 데이터 증강(예: 자르기, 마스킹, 재정렬)과 모델 증강을 결합하여 SRMA 모델에서 하이브리드 대비 학습 프레임워크를 구성한다.
• 대비 손실을 사용하여 동일한 시퀀스에서 유도된 양의 시각(모델/데이터 증강을 통해)을 정렬하고, 다른 시퀀스에서 온 음의 시각을 분리한다.
• 엔코더와 증강 기법을 동시에 최적화하여 종합적인 학습을 가능하게 하고, 적응적인 시각 생성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 모델 증강이 시퀀스 추론의 대비적 자기학습 학습에서 정보가 풍부한 시각 쌍을 구성하는 데 있어 데이터 증강을 능가하거나 보완할 수 있는가?
• RQ2 신경망 마스킹, 레이어 제거, 인코더 보완와 같은 다양한 수준의 모델 증강이 표현 학습과 추천 성능에 어떤 영향을 미치는가?
• RQ3 모델 기반의 교란이 데이터 기반의 교란보다 순서적 상관관계를 더 잘 유지하는가?
• RQ4 성능 향상에 최적화된 모델 증강 구성 요소(예: 드롭아웃 확률, 제거할 레이어 수, 보조 인코더 선택 등)의 조합은 무엇인가?

주요 결과

• 신경망 마스킹을 적용한 SRMA는 스포츠 및 장난감 데이터셋에서 드롭아웃 확률이 0.1에서 0.6 사이일 때 SASRec을 모든 지표에서 능가하며, 모델 기반 증강의 효과를 입증한다.
• K=2개의 추가 FFN 레이어와 M=1개의 레이어를 제거한 레이어 제거가 최고의 성능을 기록하며, K=4일 경우 모델 복잡도 증가로 인해 성능이 악화됨을 확인했다.
• 스포츠 데이터셋에서는 GRU 기반 보조 인코더가 가장 높은 성능을 기록했고, 장난감 데이터셋에서는 1층의 Transformer 기반 인코더가 가장 우수한 성능을 보였다. 이는 데이터셋에 따라 최적의 보완성이 달라짐을 시사한다.
• GRU 기반 및 Transformer 기반 보조 인코더 모두 SRMA에서 인코더 보완 없이 사용한 경우보다 일관되게 뛰어난 성능을 기록하여, 대비 학습에서 다양한 인코더 융합의 필요성을 입증한다.
• 제거 분석 결과, 세 가지 모델 증강 방법—신경망 마스킹, 레이어 제거, 인코더 보완—모두 성능 향상에 독립적이고 유의미한 기여를 한다.
• 데이터 증강과 모델 증강을 융합한 하이브리드 접근 방식은 단순 데이터 증강보다 뛰어난 성능을 기록하여, 모델 기반 시각 생성의 보완적 역할을 검증한다.