[논문 리뷰] One Person, One Model, One World: Learning Continual User Representation without Forgetting

Fajie Yuan, Guoxiao Zhang외 4명|arXiv (Cornell University)|2020. 09. 29.

Domain Adaptation and Few-Shot Learning참고 문헌 58인용 수 15

한 줄 요약

Conure는 유저 임베딩을 지속적으로 학습하면서도 치명적인 잊음( catastrophic forgetting)을 방지하는 최초의 수명주기(user representation) 모델이다. 단일 공유 백본 네트워크에서 덜 중요한 가중치를 반복적으로 제거함으로써 과거 작업의 성능를 유지하면서도 새로운 작업에 적응한다. 저장소 오버헤드가 최소한이면서도 표준 모델, 다중 작업 모델, 전이 학습 기반 모델들을 능가하는 성능을 보인다.

ABSTRACT

Learning user representations is a vital technique toward effective user modeling and personalized recommender systems. Existing approaches often derive an individual set of model parameters for each task by training on separate data. However, the representation of the same user potentially has some commonalities, such as preference and personality, even in different tasks. As such, these separately trained representations could be suboptimal in performance as well as inefficient in terms of parameter sharing. In this paper, we delve on research to continually learn user representations task by task, whereby new tasks are learned while using partial parameters from old ones. A new problem arises since when new tasks are trained, previously learned parameters are very likely to be modified, and as a result, an artificial neural network (ANN)-based model may lose its capacity to serve for well-trained previous tasks forever, this issue is termed catastrophic forgetting. To address this issue, we present \emph{Conure} the first \underline{con}tinual, or lifelong, \underline{u}ser \underline{re}presentation learner -- i.e., learning new tasks over time without forgetting old ones. Specifically, we propose iteratively removing less important weights of old tasks in a deep user representation model, motivated by the fact that neural network models are usually over-parameterized. In this way, we could learn many tasks with a single model by reusing the important weights, and modifying the less important weights to adapt to new tasks. We conduct extensive experiments on two real-world datasets with nine tasks and show that \emph{Conure} largely exceeds the standard model that does not purposely preserve such old "knowledge", and performs competitively or sometimes better than models which are trained either individually for each task or simultaneously by merging all task data.

연구 동기 및 목표

• 새로운 작업을 학습할 때 이전에 학습한 작업의 성능이 떨어지는 치명적인 잊음 문제를 해결한다.
• 재학습이나 별도의 모델 저장 없이도 다양한 사용자 관련 작업(예: 추천, 프로필 예측 등)을 하나의 통합 모델이 처리할 수 있도록 한다.
• 각 작업 간에 파라미터를 재사용하고 선택적으로 수정함으로써, 별도의 모델을 각각 학습하는 것 대비 저장소 및 계산 오버헤드를 줄인다.
• 실용적이고 확장 가능하며 아키텍처에 종속되지 않는 수명주기 사용자 모델링 프레임워크를 개발하여, 최소한의 잊음으로 순차적 작업 학습을 지원한다.

제안 방법

• 이전에 학습된 작업의 덜 중요한 파라미터를 제거하기 위해 반복적 가중치 프루닝을 사용하는 Conure라는 수명주기 사용자 표현 모델을 제안한다. 이로써 핵심 지식을 유지할 수 있다.
• 깊이 신경망의 중간 층에 구조적 크기 기반 프루닝을 적용하여, 새로운 작업을 위한 용량을 확보하면서도 이전 작업의 성능를 유지한다.
• 프루닝된 모델을 새로운 작업에 대해 피넷uning(fine-tuning)하여, 덜 중요한 가중치만 수정함으로써 네트워크가 적응하도록 한다.
• 프루닝을 임베딩 레이어로 확장하고, 이로 인한 모델 용량 및 성능에 미치는 영향을 평가하여, 임베딩 레이어 프루닝이 향후 학습을 위한 추가 용량을 확보함을 입증한다.
• Conure를 트랜스포머 기반 아키텍처와 통합하여, 합성곱 네트워크 외부로도 확장 가능함을 검증하고, 선형 복잡도 이점이 있는 경쟁력 있는 성능을 보였다.
• 모든 작업을 하나의 백본 네트워크로 처리함으로써 복수의 모델이나 공동 학습이 필요 없게 하고, 순차적이고 잊지 않는 방식의 지속적 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 단일 딥 네트워크가 다양한 작업 간에 치명적인 잊음을 겪지 않고 지속적으로 사용자 표현을 학습할 수 있는가?
• RQ2 동적 가중치 프루닝이 이전 작업의 지식을 유지하면서도 새로운 작업에 적응하는 데 얼마나 효과적인가?
• RQ3 성능 및 저장소 효율성 측면에서 Conure가 표준 단일 작업, 다중 작업, 전이 학습 기반 모델들을 능가하는가?
• RQ4 Conure는 트랜스포머와 같은 다양한 백본 아키텍처에 효과적으로 적용될 수 있으며, 다양한 시퀀스 길이와 작업 유형에서도 성능를 유지하는가?

주요 결과

• 기존 지식을 보존하지 않는 표준 모델 대비 Conure는 ML 데이터셋의 T2 작업에서 MRR@5 기준 10.9% 상대적 향상을 달성했다.
• 개별 작업 별로 학습된 모델나 데이터 병합을 통한 공동 학습 모델들과 경쟁하거나 그 이상의 성능를 보였으며, 저장소 사용량은 크게 줄였다.
• 50%의 파라미터를 프루닝한 후에도 Conure는 ML 데이터셋의 T2 작업에서 MRR@5를 0.0183에서 0.0203으로 향상시켜 파라미터 감소에 대한 강건성을 입증했다.
• 최대 80%까지의 프루닝은 강력한 성능 유지가 가능하지만, 95% 프루닝은 수렴 속도 저하 또는 성능 저하를 초래하여 최적의 프루닝 범위는 50~80%로 판단된다.
• 임베딩 레이어로의 프루닝 확장을 통해 추가 용량이 확보되었고, 주요 실험 결과와 유사한 성능를 달성하여 향후 학습에 유리한 조건을 제공했다.
• 트랜스포머 백본을 사용할 경우 Conure는 강력한 성능를 유지하며 세 가지 작업 간 지속적 전이를 가능하게 했으며, 일회성 전이 방법인 FineAll을 능가했다. 이는 수명주기 학습 능력 덕분이었다.