[논문 리뷰] A Sequential Embedding Approach for Item Recommendation with Heterogeneous Attributes

Kuan Liu, Xing Shi외 1명|arXiv (Cornell University)|2018. 05. 28.

Recommender Systems and Techniques참고 문헌 7인용 수 5

한 줄 요약

이 논문은 계층적 속성 조합과 공유 출력 임베딩을 사용하여 이질적 속성과 항목 시퀀스를 통합함으로써 희소성과 변동 길이의 속성 문제를 해결하는 새로운 순차적 임베딩 모델인 HA-RNN을 제안한다. 모델은 순차적 종속성과 속성의 풍부함을 활용하여 대규모 데이터셋에서 최신 기법들보다 뚜렷한 성능 향상을 보인다.

ABSTRACT

Attributes, such as metadata and profile, carry useful information which in principle can help improve accuracy in recommender systems. However, existing approaches have difficulty in fully leveraging attribute information due to practical challenges such as heterogeneity and sparseness. These approaches also fail to combine recurrent neural networks which have recently shown effectiveness in item recommendations in applications such as video and music browsing. To overcome the challenges and to harvest the advantages of sequence models, we present a novel approach, Heterogeneous Attribute Recurrent Neural Networks (HA-RNN), which incorporates heterogeneous attributes and captures sequential dependencies in extit{both} items and attributes. HA-RNN extends recurrent neural networks with 1) a hierarchical attribute combination input layer and 2) an output attribute embedding layer. We conduct extensive experiments on two large-scale datasets. The new approach show significant improvements over the state-of-the-art models. Our ablation experiments demonstrate the effectiveness of the two components to address heterogeneous attribute challenges including variable lengths and attribute sparseness. We further investigate why sequence modeling works well by conducting exploratory studies and show sequence models are more effective when data scale increases.

연구 동기 및 목표

• 추천 시스템에서 이질적이고 희소하며 길이가 변동되는 속성의 문제를 해결하기 위해.
• 순차적 항목 상호작용을 속성 임베딩과 통합하여 추천 정확도를 향상시키기 위해.
• 기존의 인자분해 모델이 사용자, 항목, 속성 간의 복잡한 비선형 종속성을 포착하는 데에 한계가 있음을 극복하기 위해.
• 크기의 영향을 고려할 때, 순차 모델링이 항목 빈도를 넘어서서 유의미한 이점을 제공하는지 조사하기 위해.

제안 방법

• HA-RNN는 속성 유형 간 임베딩을 스택하여 길이가 변동하는 속성을 다루기 위해 계층적 속성 조합 입력 레이어를 사용한다.
• 입력과 출력 임베딩 파라미터를 연결함으로써 모델을 정규화하는 공유 출력 속성 임베딩 레이어를 도입하여 희소한 속성에 대한 과적합을 줄인다.
• 양방향 RNN을 사용하여 사용자-항목 상호작용 시퀀스의 순차적 종속성을 포착한다.
• 사용자 행동과 속성 의미를 모두 모델링하는 공동 학습 프레임워크를 통해 항목 수준과 속성 수준의 임베딩을 통합한다.
• 딥러닝을 통한 유연한 비선형 함수 매핑을 가능하게 하여 행렬 인자분해의 선형 가정을 초월한다.
• 실험에서는 순차적 종속성과 항목 빈도의 영향을 테스트하기 위해 부분 시퀀스 샘플링을 통한 데이터 증강을 사용한다.

실험 결과

연구 질문

• RQ1 순차적 항목 상호작용을 통합함으로써 항목 빈도를 넘어서 추천 성능 향상이 이루어지는가?
• RQ2 특히 길이가 변동하고 희소한 이질적 속성은 모델 성능에 어떤 영향을 미치는가?
• RQ3 입력 및 출력 레이어 간의 공유 임베딩 파라미터가 희소한 속성 기능을 효과적으로 정규화하는가?
• RQ4 데이터 스케일이 증가함에 따라 순차 모델링의 성능 향상이 유지되거나 증가하는가?
• RQ5 순차 모델링의 이점은 작은 데이터셋에서의 산물일 뿐이거나, 데이터 크기에 따라 확장 가능한가?

주요 결과

• HA-RNN는 두 개의 대규모 데이터셋에서 최신 기법들보다 뚜렷한 성능 향상을 보이며, 속성과 순차 모델링을 융합한 효과성을 입증한다.
• 절단 실험을 통해 계층적 속성 조합과 공유 출력 임베딩 구성 요소가 이질성과 희소성 문제를 다루는 데 필수적임을 확인한다.
• 부분 시퀀스 샘플링 실험 결과, 항목 빈도는 유지되더라도 순차적 구조를 파기하면 성능이 떨어지며, 이는 순차적 구조가 빈도 외의 고유한 정보를 제공함을 증명한다.
• 데이터 스케일이 증가함에 따라 HA-RNN의 성능은 안정적으로 향상되며, 비순차 모델인 NHMF는 이러한 향상이 없음을 확인하여 순차 모델링이 더 많은 데이터에서 유의미한 이점을 얻음을 시사한다.
• 결과적으로 순차 모델링은 암시적 피드백을 포함한 대규모 추천 시스템에 특히 적합하다.