[논문 리뷰] Memory-efficient Embedding for Recommendations

Xiangyu Zhao, Haochen Liu외 7명|arXiv (Cornell University)|2020. 06. 26.

Recommender Systems and Techniques참고 문헌 55인용 수 19

한 줄 요약

이 논문은 딥러닝 기반 추천 시스템의 다양한 특성 필드에 최적의 변동형 임bedding 차원을 자동으로 할당하는 AutoML 프레임워크인 AutoDim을 제안한다. 서로 다른 임베딩 차원에 대한 가중치를 학습하기 위해 미분 가능하고 연속적인 최적화 과정을 사용한 후 이를 이산적이고 딱딱한 아키텍처로 정제함으로써 AutoDim은 메모리 사용을 줄이면서도 벤치마크 데이터셋에서 추천 성능을 유지하거나 향상시킨다.

ABSTRACT

Practical large-scale recommender systems usually contain thousands of feature fields from users, items, contextual information, and their interactions. Most of them empirically allocate a unified dimension to all feature fields, which is memory inefficient. Thus it is highly desired to assign different embedding dimensions to different feature fields according to their importance and predictability. Due to the large amounts of feature fields and the nuanced relationship between embedding dimensions with feature distributions and neural network architectures, manually allocating embedding dimensions in practical recommender systems can be very difficult. To this end, we propose an AutoML based framework (AutoDim) in this paper, which can automatically select dimensions for different feature fields in a data-driven fashion. Specifically, we first proposed an end-to-end differentiable framework that can calculate the weights over various dimensions for feature fields in a soft and continuous manner with an AutoML based optimization algorithm; then we derive a hard and discrete embedding component architecture according to the maximal weights and retrain the whole recommender framework. We conduct extensive experiments on benchmark datasets to validate the effectiveness of the AutoDim framework.

연구 동기 및 목표

• 모든 특성 필드에 동일한 고정된 임베딩 차원을 할당함으로써 발생하는 대규모 추천 시스템의 메모리 비효율성 문제를 해결하기 위해.
• 특성의 예측 중요도와 기수에 기반하여 서로 다른 특성 필드에 최적의 임베딩 차원을 자동으로 결정하기 위해.
• 수천 개의 특성 필드에 걸쳐 수작업 또는 전수 탐색 방식으로 차원 할당을 수행하는 것이 불가능한 문제를 해결하기 위해.
• 임베딩 차원의 연속적이고 기울기 기반 최적화가 가능한 엔드 투 엔드의 미분 가능한 프레임워크를 개발하기 위해.
• 프레임워크의 효과성을 검증하여 메모리 사용량을 줄이면서도 추천 정확도를 유지하거나 향상시키기 위해.

제안 방법

• 각 특성 필드에 대해 여러 후보 임베딩 차원에 대한 연속적이고 부드러운 가중치를 계산하는 엔드 투 엔드의 미분 가능한 프레임워크를 제안한다.
• 기울기 하강을 통해 차원 가중치와 모델 파라미터를 동시에 학습하는 AutoML 기반 최적화 알고리즘을 도입한다.
• 각 특성 필드에 대해 학습된 가중치가 가장 높은 차원을 선택하여 이산적이고 딱딱한 임베딩 아키텍처를 유도한다.
• 임베딩 룩업 방법 두 가지와 임베딩 변환 접근 방식 두 가지를 사용하여 그 영향이 차원 할당 결정에 미치는 영향을 평가한다.
• 성능 일致성을 확보하기 위해 유도된 이산 아키텍처를 기반으로 최종 추천 시스템을 재학습시킨다.
• 임베딩 차원 선택 과정을 통해 역전파를 가능하게 하기 위해 이산 아키텍처 탐색 문제의 미분 가능 근사값을 사용한다.

실험 결과

연구 질문

• RQ1 자동화되고 데이터 기반인 방법이 추천 시스템의 다양한 특성 필드에 대해 변동형 임베딩 차원을 효과적으로 할당할 수 있는가?
• RQ2 특성 분포, 기수, 최적의 임베딩 차원 간의 관계가 추천 성능에 어떤 영향을 미치는가?
• RQ3 이산적 차원 선택의 미분 가능하고 연속적인 근사값이 효과적이고 효율적인 AutoML 기반 최적화를 가능하게 하는가?
• RQ4 제안된 프레임워크는 상당히 감소된 메모리 사용량으로 비교적 또는 더 나은 추천 성능을 달성하는가?
• RQ5 임베딩 룩업 및 변환 방법의 다양한 조합이 최종 차원 할당 결정에 어떤 영향을 미치는가?

주요 결과

• AutoDim는 벤치마크 데이터셋에서 총 임베딩 파라미터 수를 최대 50%까지 줄였으며, 추천 성능은 유지하거나 약간 향상시켰다.
• 프레임워크는 높은 예측 능력을 지닌 특성(예: 위치, 아이템ID)을 성공적으로 식별하여 더 큰 임베딩 차원을 할당하고, 기수도 낮은 특성(예: 성별)에는 더 작은 차원을 할당하였다.
• 미분 가능한 아키텍처 탐색 과정은 효과적인 기울기 기반 최적화를 가능하게 하여, 다양한 차원 조합의 이산 공간에서의 고비용 탐색이 필요 없음을 보여주었다.
• 제거 분석 결과, 임베딩 룩업 및 변환 방법의 선택이 최종 차원 할당에 영향을 미친다는 점을 확인하였으며, 이는 최적화 과정에서 아키텍처 설계의 중요성을 강조한다.
• 부드러운 가중치에서 유도된 정제된 딱딱한 아키텍처는 고정된 차원 할당을 가진 모델보다 비교적 또는 더 나은 성능을 달성하였으며, 정제 단계의 효과성을 입증하였다.
• 프레임워크는 여러 실세계 벤치마크 데이터셋에 걸쳐 일반화되었으며, 실용적 환경에서의 강건성과 확장성을 보여주었다.