[논문 리뷰] Deep Meta-learning in Recommendation Systems: A Survey

Chunyang Wang, Yanmin Zhu외 4명|arXiv (Cornell University)|2022. 06. 09.

Recommender Systems and Techniques인용 수 10

한 줄 요약

이 종합 검토는 추천 시스템에서의 딥 메타러닝 방법에 대한 포괄적인 분류 체계를 제시하며, 추천 시나리오, 메타러닝 기법, 메타지식 표현 방식으로 분류한다. 메타러닝이 데이터 부족 환경(예: 콜드스타트 추천)에서 일반화 능력과 효율성을 향상시키는 방식을 보여주며, 희소 데이터 환경에서의 개선된 개인화 및 적응을 위한 설계 원칙과 향후 연구 방향을 제시한다.

ABSTRACT

Deep neural network based recommendation systems have achieved great success as information filtering techniques in recent years. However, since model training from scratch requires sufficient data, deep learning-based recommendation methods still face the bottlenecks of insufficient data and computational inefficiency. Meta-learning, as an emerging paradigm that learns to improve the learning efficiency and generalization ability of algorithms, has shown its strength in tackling the data sparsity issue. Recently, a growing number of studies on deep meta-learning based recommenddation systems have emerged for improving the performance under recommendation scenarios where available data is limited, e.g. user cold-start and item cold-start. Therefore, this survey provides a timely and comprehensive overview of current deep meta-learning based recommendation methods. Specifically, we propose a taxonomy to discuss existing methods according to recommendation scenarios, meta-learning techniques, and meta-knowledge representations, which could provide the design space for meta-learning based recommendation methods. For each recommendation scenario, we further discuss technical details about how existing methods apply meta-learning to improve the generalization ability of recommendation models. Finally, we also point out several limitations in current research and highlight some promising directions for future research in this area.

연구 동기 및 목표

• 딥러닝 기반 추천 시스템에서 데이터 희소성과 계산 비효율성 문제, 특히 콜드스타트 시나리오에서의 문제를 해결하기 위해.
• 추천 시나리오, 메타러닝 기법, 메타지식 표현 방식으로 정리된 딥 메타러닝 방법에 대한 체계적인 분류 체계를 제공하기 위해.
• 메타러닝이 추천 모델의 일반화 및 적응 능력을 향상시키는 기술적 메커니즘을 분석하기 위해.
• 현재 연구의 한계를 규명하고, 보조 데이터를 활용한 작업 증강 및 추천 모델을 위한 신경망 아키텍처 탐색 기반의 새로운 연구 방향을 제안하기 위해.

제안 방법

• 세 가지 차원의 분류 체계를 제안: 추천 시나리오(예: 사용자/아이템 콜드스타트, 온라인 추천), 메타러닝 기법(예: 거리 기반, 최적화 기반), 메타지식 표현 방식(예: 모델 가중치, 임베딩).
• 메타러닝이 효과적인 학습 전략에 대한 사전 분포를 학습함으로써 새로운 작업에 대해 빠른 적응을 가능하게 하며, 지원 세트를 활용해 모델 가중치를 초기화하는 방식을 설명한다.
• MAML 및 그 변종과 같은 메타러닝 프레임워크를 분석하여, 소수의 샘플로도 효율적인 적응이 가능하도록 메타초기화를 최적화하는 방식을 설명한다.
• 개인화된 추천에서 모델 적응을 안내하기 위해 작업별 임베딩 또는 어텐션 메커니즘 형태의 메타지식을 활용하는 방식을 검토한다.
• 상호작용 데이터 외에도 지식 그래프, 사회 네트워크, 아이템 속성 등의 보조 정보를 통합하여 메타러닝 작업의 풍부함을 높이는 방법을 분석한다.
• 메타러닝을 추천 모델을 위한 신경망 아키텍처 탐색(NAS)에 적용할 잠재력을 논의하며, 작업에 맞는 최적의 아키텍처 자동 탐색이 가능함을 제시한다.

실험 결과

연구 질문

• RQ1 어떻게 메타러닝을 효과적으로 적용하여 데이터 부족 조건(예: 콜드스타트)에서 추천 시스템의 일반화 능력을 향상시킬 수 있는가?
• RQ2 현재 메타러닝 기반 추천 방법을 형성하는 데 핵심이 되는 설계 차원들—추천 시나리오, 메타러닝 기법, 메타지식 표현 방식—은 무엇인가?
• RQ3 지식 기반, 사회 네트워크, 또는 다중 모odal 자료에서 유래한 보조 정보는 어떻게 활용되어 메타러닝 작업의 구성이 향상될 수 있는가?
• RQ4 현재 메타러닝 접근법의 한계는 무엇이며, 이를 해결할 수 있는 새로운 연구 방향은 무엇인가?

주요 결과

• 메타러닝은 콜드스타트 및 소수의 샘플 학습 추천 시나리오에서 데이터가 극히 적은 조건에서도 빠른 적응을 가능하게 하여 모델의 일반화 능력을 크게 향상시킨다.
• 추천 시나리오, 메타러닝 기법, 메타지식 표현 방식의 분류 체계는 향후 방법 개발을 위한 체계적인 설계 공간을 제공한다.
• 아이템 속성 또는 사회 네트워크와 같은 보조 정보를 메타러닝 작업에 통합함으로써 작업의 맥락을 풍부화하고 표현 학습을 향상시켜 성능 향상을 이룬다.
• 메타러닝에 의해 가속화된 신경망 아키텍처 탐색(NAS)은 최적의 추천 모델 아키텍처를 자동으로 탐색할 수 있는 잠재력을 보이며, 아직 이 분야에서 충분히 탐색되지 않은 분야이다.
• 현재 메타러닝 방법은 주로 상호작용 데이터에 국한되어 있으며, 구조적 또는 텍스트 기반 보조 데이터를 작업 구성에 포함시키는 것은 향후 핵심 연구 방향이다.
• 메타러닝을 통해 모델 가중치와 아키텍처 연결을 상호 최적화함으로써 성능 향상이 가능하므로, 추천 모델 설계에서 통합된 탐색 프레임워크의 필요성이 제기된다.