[논문 리뷰] A Survey on Incremental Update for Neural Recommender Systems

Peiyan Zhang, Sunghun Kim|arXiv (Cornell University)|2023. 03. 06.

Recommender Systems and Techniques인용 수 6

한 줄 요약

이 종합 검토는 산업 응용에서 오프라인 배치 학습과 실시간 데이터 스트림 간 격차를 해결하면서 신경망 기반 추천 시스템의 점진적 업데이트(IURS)를 체계적으로 조사한다. 기존 방법을 분류하고 개념 이탈 및 치명적 기억 상실과 같은 과제를 분석하며, 효율성, 평가, 공정성 분야의 핵심 열린 문제를 규명한다.

ABSTRACT

Recommender Systems (RS) aim to provide personalized suggestions of items for users against consumer over-choice. Although extensive research has been conducted to address different aspects and challenges of RS, there still exists a gap between academic research and industrial applications. Specifically, most of the existing models still work in an offline manner, in which the recommender is trained on a large static training set and evaluated on a very restrictive testing set in a one-time process. RS will stay unchanged until the next batch retrain is performed. We frame such RS as Batch Update Recommender Systems (BURS). In reality, they have to face the challenges where RS are expected to be instantly updated with new data streaming in, and generate updated recommendations for current user activities based on the newly arrived data. We frame such RS as Incremental Update Recommender Systems (IURS). In this article, we offer a systematic survey of incremental update for neural recommender systems. We begin the survey by introducing key concepts and formulating the task of IURS. We then illustrate the challenges in IURS compared with traditional BURS. Afterwards, we detail the introduction of existing literature and evaluation issues. We conclude the survey by outlining some prominent open research issues in this area.

연구 동기 및 목표

• 학술 분야의 오프라인 추천 시스템 연구와 산업 현장에서 요구하는 실시간 업데이트 간 괴리를 해소하기 위해.
• 기존의 배치 업데이트 추천 시스템(BURS)과는 별개의 파라다임으로 점진적 업데이트 추천 시스템(IURS)의 작업을 정의하기 위해.
• 개념 이탈, 치명적 기억 상실, 검색 효율성과 같은 과제를 해결하는 데 초점을 맞춘 기존 IURS 방법을 체계적으로 정리하고 분류하기 위해.
• 정확도를 넘어서 공정성, 다양성, 인기 편향과 같은 요소를 포함하여 온라인 추천 시스템에서 중요한 평가 문제를 부각하기 위해.
• 지속적 학습 및 보조 정보 통합과 같은 분야와의 융합을 포함한 열린 연구 과제와 향후 방향성 규명하기 위해.

제안 방법

• 핵심 과제인 개념 이탈, 치명적 기억 상실, 검색 효율성 기반으로 IURS 방법을 분류하기 위해.
• 스트리밍 데이터로의 모델 업데이트를 가능하게 하는 기법들, 예를 들어 온라인 미세조정, 파라미터 고립, 기울기 정렬 기법들을 조사하기 위해.
• 이전 지식과 새로운 지식 간 간섭을 줄이는 방법들을 검토하기 위해, 예를 들어 횡방향 억제 기반 표현 비상관관계화 및 기울기 정렬을 위한 메타학습 기법을 포함하여.
• 추론 시간 복잡도를 선형에서 상수로 줄이는 데 기여하는 검색 최적화 전략들, 예를 들어 임베딩 기반 후보 샘플링 및 큐 기반 음성 샘플링을 검토하기 위해.
• 정확도를 넘어서 공정성, 다양성, 편향 완화를 포함한 평가 프레임워크를 제안하기 위해.
• 하이브리드, 다도메인, 맥락 인식 추천과 같은 넓은 범위의 추천 시스템 연구 분야와 IURS를 연결하고, 지속적 학습과의 통합 가능성을 제안하기 위해.

실험 결과

연구 질문

• RQ1 기존의 배치 업데이트 추천 시스템(BURS)과 비교할 때 점진적 업데이트 추천 시스템(IURS)을 설계하는 데 있어 핵심적인 차이점과 과제는 무엇인가요?
• RQ2 실시간 스트리밍 데이터로 신경망 기반 추천 모델을 효율적으로 업데이트하면서 치명적 기억 상실과 개념 이탈을 방지하는 방법은 무엇인가요?
• RQ3 특히 대규모 검색 환경에서 IURS의 추론 시간을 줄이는 데 가장 효과적인 기법은 무엇인가요?
• RQ4 IURS의 평가 지표는 정확도를 넘어서 공정성, 다양성, 편향 완화를 포함하여 어떻게 확장될 수 있나요?
• RQ5 IURS를 지속적 학습, 보조 정보, 다도메인 추천과 통합하는 데 있어 유망한 연구 방향은 무엇인가요?

주요 결과

• 기존의 신경망 기반 추천 시스템은 주로 오프라인 배치 방식으로 학습되기 때문에 신규 사용자 상호작용에 대한 반응이 지연된다.
• IURS는 사용자 클릭이나 신규 아이템 도착과 같은 새로운 데이터에 즉각적으로 대응해야 하는 실생활 응용에서 필수적이다.
• 표현 비상관관계화 및 기울기 정렬 기법은 점진적 업데이트 과정에서 치명적 기억 상실을 줄이는 데 도움이 된다.
• 큐 기반 음성 샘플링과 임베딩 기반 검색은 추론 시간 복잡도를 선형에서 상수로 줄여 대규모 환경에서의 확장성 향상에 기여한다.
• IURS의 평가는 정확도를 넘어서 공정성과 다양성까지 포함해야 하며, 특히 자주 상호작용되는 아이템을 선호하는 인기 편향을 완화하기 위해 중요하다.
• 효율적 검색, 견고한 평가, 지속적 학습 및 풍부한 보조 정보 통합과 같은 열린 과제들이 여전히 남아 있다.