[논문 리뷰] AutoEmb: Automated Embedding Dimensionality Search in Streaming Recommendations

Xiangyu Zhao, Chong Wang외 4명|arXiv (Cornell University)|2020. 02. 26.

Recommender Systems and Techniques참고 문헌 39인용 수 21

한 줄 요약

AutoEmb는 실시간 인기도에 기반해 스트리밍 추천 시스템 내 사용자 및 아이템의 동적 임베딩 차원을 자동으로 선택하는 엔드 투 엔드 미분 가능한 AutoML 프레임워크를 제안한다. 학습 가능한 컨트롤러와 미분 가능한 아키텍처 탐색을 통합함으로써 AutoEmb는 특히 데이터가 부족한 조건에서 추천 성능과 학습 효율성을 향상시킨다. 벤치마크 데이터셋에서 고정된 차원을 가진 기준 모델들을 능가한다.

ABSTRACT

Deep learning based recommender systems (DLRSs) often have embedding layers, which are utilized to lessen the dimensionality of categorical variables (e.g. user/item identifiers) and meaningfully transform them in the low-dimensional space. The majority of existing DLRSs empirically pre-define a fixed and unified dimension for all user/item embeddings. It is evident from recent researches that different embedding sizes are highly desired for different users/items according to their popularity. However, manually selecting embedding sizes in recommender systems can be very challenging due to the large number of users/items and the dynamic nature of their popularity. Thus, in this paper, we propose an AutoML based end-to-end framework (AutoEmb), which can enable various embedding dimensions according to the popularity in an automated and dynamic manner. To be specific, we first enhance a typical DLRS to allow various embedding dimensions; then we propose an end-to-end differentiable framework that can automatically select different embedding dimensions according to user/item popularity; finally we propose an AutoML based optimization algorithm in a streaming recommendation setting. The experimental results based on widely used benchmark datasets demonstrate the effectiveness of the AutoEmb framework.

연구 동기 및 목표

• 딥 러닝 기반 추천 시스템에서 고정된 임베딩 차원의 한계를 해결함으로써, 다양한 인기도를 가진 사용자 및 아이템에 대해 최적의 표현 학습이 가능하도록 하는 것.
• 인기도가 급격히 변화하는 실시간 스트리밍 환경에서 수동으로 차원을 튜닝하는 것이 불가능한 상황에서, 자동으로 동적 임베딩 크기를 선택할 수 있도록 하는 것.
• 변동 가능한 임베딩 차원을 지원하면서도 표준 딥 러닝 아키텍처와의 호환성을 유지하는 엔드 투 엔드 미분 가능한 프레임워크를 개발하는 것.
• 사용자 및 아이템 상호작용 패턴의 변화에 적응하는 AutoML 컨트롤러를 통해 최적의 임베딩 차원을 학습함으로써 학습 효율성과 추천 정확도를 향상시키는 것.

제안 방법

• 사용자/아이템 별로 변동 가능한 임베딩 차원을 지원하도록 표준 딥 러닝 기반 추천 시스템을 확장하여, 차원을 고정된 전역 설정에서 분리하는 것.
• 현재 인기도(즉, 상호작용 수)를 기반으로 각 사용자/아이템에 대한 최적의 임베딩 차원을 예측하는 미분 가능한 컨트롤러 네트워크를 설계하는 것.
• 임베딩 차원 선택 문제를 미분 가능한 아키텍처 탐색 문제로 재구성하여, 소프트 리lâ크스를 통해 이산적 선택에 대한 역전파를 가능하게 하는 것.
• 검증 세트에서 추천 성능을 최대화하도록 강화 학습 또는 기울기 기반 최적화를 사용해 컨트롤러를 훈련하는 것.
• 새로운 상호작용이 도착하고 인기도가 변화함에 따라 실시간으로 적응할 수 있도록 컨트롤러를 스트리밍 추천 파이프라인에 통합하는 것.
• 이산적 차원 선택을 미분 가능하게 하기 위해 소프트-아르맥스 또는 구름벨-소프트맥스 리lâ크스를 사용하는 것.

실험 결과

연구 질문

• RQ1 사용자 및 아이템의 인기도에 기반해 임베딩 차원을 동적으로 조정하는 것이 스트리밍 환경에서 추천 성능 향상에 기여하는가?
• RQ2 엔드 투 엔드 미분 가능한 컨트롤러를 사용한 임베딩 차원 선택이 고정된 차원 기반 기준 모델 대비 정확도와 학습 효율성 측면에서 어떻게 비교되는가?
• RQ3 AutoML 기반의 차원 선택이 특히 데이터가 부족한 상황에서 다양한 인기 수준에 얼마나 잘 적응할 수 있는가?
• RQ4 제안된 프레임워크는 수백만 명의 사용자와 아이템을 포함하는 대규모 실세계 추천 시스템에 대해 높은 성능을 유지할 수 있는가?
• RQ5 컨트롤러가 사용자 및 아이템 간에 일반화할 수 있는 능력이 모델의 강건성과 수렴 속도에 어떤 영향을 미치는가?

주요 결과

• AutoEmb는 여러 벤치마크 데이터셋에서 고정된 차원 기반 기준 모델 대비 더 낮은 평균 제곱 오차와 더 높은 정확도를 기록함으로써 추천 성능을 크게 향상시켰다.
• 인기도가 낮을 경우 더 작은 임베딩 차원으로도 우수한 성능를 달성하며, 인기도가 증가함에 따라 효과적으로 더 큰 차원으로 확장된다.
• AutoML 기반 컨트롤러는 상호작용 데이터가 제한된 경우 학습 시간을 줄이고 수렴 속도를 향상시킨다.
• 미분 가능한 컨트롤러 덕분에 엔드 투 엔드 최적화가 가능해져 수동 튜닝 없이도 최적의 차원 할당을 학습할 수 있다.
• 사용자 및 아이템 전반에 걸쳐 잘 일반화되어 있어, 스트리밍 환경에서의 동적 인기도 변화에 강건함을 입증했다.
• 제거 실험을 통해 동적 차원 선택이 고정된 임베딩 크기보다 더 효과적임을 확인했으며, 특히 고인기 및 저인기 사용자/아이템에 대해 뚜렷한 성능 향상을 보였다.