[논문 리뷰] Predicting purchasing intent: Automatic Feature Learning using Recurrent Neural Networks

Humphrey Sheil, Omer Rana외 1명|arXiv (Cornell University)|2018. 07. 21.

Consumer Market Behavior and PricingBusiness, Management and Accounting참고 문헌 28인용 수 18

한 줄 요약

이 논문은 수동적 특성 공학 없이 전자상거래에서 사용자 구매 의도를 예측하기 위해 학습 가능한 임베딩을 사용하는 순환 신경망(RNN) 기반의 딥러닝 접근법을 제안한다. 모델은 한 벤치마크에서는 최신 기술 성능의 98.4%를 달성하고 다른 벤치마크에서는 이를 초월하며, RNN을 통한 자동 특성 학습이 기존의 기울기 부스팅 기반 기계학습 모델(Gradient Boosting Machines)과 경쟁하거나 이를 능가할 수 있음을 보여준다. 이는 도메인 특화 특성 공학에 대한 의존도를 감소시킨다.

ABSTRACT

We present a neural network for predicting purchasing intent in an Ecommerce setting. Our main contribution is to address the significant investment in feature engineering that is usually associated with state-of-the-art methods such as Gradient Boosted Machines. We use trainable vector spaces to model varied, semi-structured input data comprising categoricals, quantities and unique instances. Multi-layer recurrent neural networks capture both session-local and dataset-global event dependencies and relationships for user sessions of any length. An exploration of model design decisions including parameter sharing and skip connections further increase model accuracy. Results on benchmark datasets deliver classification accuracy within 98% of state-of-the-art on one and exceed state-of-the-art on the second without the need for any domain / dataset-specific feature engineering on both short and long event sequences.

연구 동기 및 목표

• 전자상거래 사용자 의도 예측에서 광범위하고 도메인 특화된 특성 공학에 대한 의존도를 줄이기 위해.
• 원시 클릭스트림 데이터에서 표현을 자동으로 학습하는 딥러닝 모델을 개발하기 위해.
• RNN과 학습 가능한 임베딩을 사용한 모델이 최신 기술 모델(예: 기울기 부스팅 기반 기계학습 모델)과 경쟁하거나 이를 초월할 수 있는지 평가하기 위해.
• 다양한 세션 길이 분포를 가진 전자상거래 데이터셋 간의 일반화 능력을 평가하기 위해.
• 최소한의 하드웨어 요구 사양을 충족하면서도 표준 산업 기준 방법과 경쟁 가능한 성능을 달성할 수 있음을 보여주기 위해.

제안 방법

• 전자상거래 세션 내의 순차적 사용자 상호작용을 모델링하기 위해 다층 Long Short-Term Memory(LSTM) 네트워크를 사용한다.
• 공통된 벡터 공간 내에서 범주형 항목, 수량, 고유한 인스턴스를 표현하기 위해 학습 가능한 임베딩 레이어를 적용한다.
• 시간 단계 간의 파라미터 공유를 통해 짧은 시퀀스에서의 일반화 능력 향상과 과적합 방지를 도모한다.
• 깊이 있는 아키텍처에서 학습 안정성 향상과 기울기 흐름 개선을 위해 스킵 연결을 활용한다.
• 엔드 투 엔드 백프로파게이션을 활용해 임베딩과 네트워크 가중치를 동시에 업데이트할 수 있도록 한다.
• 단일 GPU에서 Adam 최적화와 조기 정지 기법을 사용하여 교차 엔트로피 손실을 기반으로 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 학습 가능한 임베딩을 갖춘 순환 신경망이 수동적 특성 공학 없이도 사용자 구매 의도 예측에서 최신 기술 성능을 달성할 수 있는가?
• RQ2 제안된 RNN 모델의 성능는 벤치마크 전자상거래 데이터셋에서 기울기 부스팅 기반 기계학습 모델과 비교해 어떻게 되는가?
• RQ3 스킵 연결과 파라미터 공유와 같은 아키텍처 선택이 모델 정확도와 학습 안정성에 어떤 영향을 미치는가?
• RQ4 특히 단일 클릭 세션으로 구성된 데이터셋과 같은 다양한 세션 길이 분포를 가진 데이터셋에 대해 모델의 일반화 능력은 얼마나 되는가?
• RQ5 최소한의 하드웨어 요구 사양을 충족하면서도 높은 성능를 유지할 수 있는가? 이는 실세계 적용에 대한 접근성을 높인다.

주요 결과

• 제안된 LSTM 모델은 특성 공학 없이도 첫 번째 벤치마크 데이터셋에서 최신 기술 AUC 성능의 98.4%를 달성한다.
• 두 번째 데이터셋에서는 최신 기술 성능을 초월하며, AUC 0.837을 기록한 반면 기울기 부스팅 기반 기계학습 모델(GBM) 기준은 0.834였다.
• 임베딩 레이어를 고정시켰을 경우 성능은 AUC 0.808로 떨어지고 학습 시간은 3배로 증가하여, 엔드 투 엔드 학습의 중요성을 입증한다.
• 특히 단일 클릭 세션에서 GBM이 체류 시간이나 순서 정보 등의 특징을 누락하고 있음에도 불구하고, 모델은 GBM을 능가하는 성능를 보였다.
• 단일 GPU에서 약 6시간 내로 학습이 가능하며, 메모리는 1~2GB로 제한되어 있어 이전 연구에서 사용한 150台의 머신 대비 자원 요구량을 크게 줄였다.
• 세션 길이 분포가 크게 다른 데이터셋 간에도 모델은 잘 일반화되며, 강력한 성능를 유지한다.