[논문 리뷰] Joint IDs Embedding and its Applications in E-commerce.

Kui Zhao, Yuechuan Li외 2명|arXiv (Cornell University)|2017. 12. 22.

Recommender Systems and Techniques참고 문헌 28인용 수 1

한 줄 요약

이 논문은 사용자 음성 피드백을 활용하여 다양한 전자상거래 ID(예: 제품, 브랜드, 카테고리 ID 등)에 대해 저차원의 의미적 표현을 동시에 학습하는 계층적 임베딩 모델을 제안한다. ID 간의 동종 및 异종 관계를 모두 포착함으로써 추천 및 예측과 같은 후행 응용 분야에서 효과적인 성능을 발휘하며, Hema 앱 데이터를 바탕으로 한 실증적 검증 결과 기존의 one-hot 인코딩 대비 뚜렷한 성능 향상을 보였다.

ABSTRACT

E-commerce has become an important part of our daily lives and there are great challenges due to its dynamic and complex business environment. Many machine intelligence techniques are developed to overcome these challenges. One of the essential elements in those techniques is the representation of data, especially for ID-type data, e.g. item ID, product ID, store ID, brand ID, category ID etc. The classical one-hot encoding suffers sparsity problems due to its high dimension. Moreover, it cannot reflect the relationships among IDs, either homogeneous or heterogeneous ones. In this paper, we propose a novel hierarchical embedding model to jointly learn low-dimensional representations for different types of IDs from the implicit feedback of users. Our approach incorporates the structural information among IDs and embeds all types of IDs into a semantic space. The low-dimensional representations can be effectively extended to many applications including recommendation and forecast etc. We evaluate our approach in several scenarios of Hema App and the experimental results validate the effectiveness of our approach.

연구 동기 및 목표

• 전자상거래 ID 특징에 대한 전통적 one-hot 인코딩에서의 희소성 문제와 관계 모델링 부족 문제를 해결한다.
• 동적인 전자상거래 환경에서 고차원적이고 정적 표현 방식의 한계를 극복한다.
• 다양한 유형의 ID(예: 상품, 브랜드, 카테고리 등)를 함께 임베딩하여 공통된 의미 공간에 통합함으로써 구조적 관계를 포착한다.
• 추천 및 예측과 같은 후행 작업을 향상시키기 위해 저차원적이고 이식 가능한 표현을 가능하게 한다.
• 사용자 음성 피드백 데이터를 활용해 실제 전자상거래 환경에서 모델의 효과성을 검증한다.

제안 방법

• 사용자 상호작용 로그에서 여러 유형의 ID에 대한 임베딩을 동시에 학습하기 위한 계층적 신경망 아키텍처를 제안한다.
• 동종 관계(예: 제품-제품) 및 异종 관계(예: 제품-브랜드)를 모두 인코딩하는 그래프 기반 또는 계층적 구조를 사용해 ID 간의 구조적 관계를 모델링한다.
• 후행 관련성 최적화를 위해 사용자 음성 피드백(예: 클릭, 구매)을 지도로 사용해 모델을 종단 간(end-to-end)으로 훈련한다.
• 각 ID를 저차원의 조밀한 벡터로 표현함으로써 효율적인 계산과 일반화를 가능하게 한다.
• 모든 ID 유형을 통합된 임베딩 공간에 통합하여 이종 간 추론 및 전이 학습을 지원한다.
• 희소한 피드백 신호로부터 표현 품질을 향상시키기 위해 음성 샘플링 및 대비 학습 기법을 적용한다.

실험 결과

연구 질문

• RQ1 다양한 ID 유형의 공동 학습이 개별 또는 one-hot 인코딩 대비 표현 품질 향상에 기여하는가?
• RQ2 학습된 ID 임베딩이 다양한 전자상거래 엔티티 간에 의미적이고 구조적인 관계를 어느 정도 잘 포착하는가?
• RQ3 실제 전자상거래 시스템에서 공동 ID 임베딩이 추천 및 예측 성능 향상에 얼마나 효과적인가?
• RQ4 계층적 구조 정보를 통합함으로써 ID 표현의 일반화 능력과 강건성은 향상되는가?
• RQ5 공통된 의미 공간에서 다양한 유형의 ID(예: 제품, 브랜드, 카테고리) 간에 모델이 일반화 가능한가?

주요 결과

• 제안된 공동 ID 임베딩 모델은 저차원 벡터를 학습함으로써 one-hot 인코딩 대비 표현의 희소성을 크게 감소시켰다.
• 모델은 제품-브랜드 또는 카테고리-서브카테고리 관계와 같은 동종 및 이종 관계를 효과적으로 포착한다.
• Hema 앱의 실세계 데이터에서 학습된 임베딩은 추천 및 예측 성능 향상에 기여한다.
• 계층적 구조는 다양한 ID 유형 간 일반화 능력을 향상시키고 대규모 전자상거래 카탈로그에 대한 확장성도 향상시킨다.
• 명시적 레이블이 필요 없이도 사용자 음성 피드백만으로도 효과적이고 이식 가능한 ID 임베딩을 학습할 수 있다.
• 정확도 및 작업 간 일반화 능력 측면에서 one-hot 또는 독립적 임베딩을 사용하는 기준 모델 대비 본 모델이 뛰어난 성능을 보였다.