[논문 리뷰] Deep Interest with Hierarchical Attention Network for Click-Through Rate Prediction

Weinan Xu, Hengxu He외 4명|arXiv (Cornell University)|2020. 05. 22.

Recommender Systems and Techniques참고 문헌 5인용 수 5

한 줄 요약

이 논문은 사용자 관심사를 다차원적이고 계층적인 주의 메커니즘을 통해 캡처하는 새로운 CTR 예측 모델인 Deep Interest with Hierarchical Attention Network (DHAN)을 제안한다. 이 모델은 카테고리, 가격, 브랜드 등 다양한 차원에서 관심의 추상화 수준에 대해 동적으로 가중치를 설정할 수 있다. DHAN은 공개 데이터셋에서 DIN 대비 12%에서 21%의 AUC 향상을 기록했으며, DIEN 대비 1.0%에서 1.7%의 향상을 기록하여 추천 시스템에서 계층적 관심 구조를 모델링하는 것이 효과적임을 입증한다.

ABSTRACT

Deep Interest Network (DIN) is a state-of-the-art model which uses attention mechanism to capture user interests from historical behaviors. User interests intuitively follow a hierarchical pattern such that users generally show interests from a higher-level then to a lower-level abstraction. Modeling such an interest hierarchy in an attention network can fundamentally improve the representation of user behaviors. We, therefore, propose an improvement over DIN to model arbitrary interest hierarchy: Deep Interest with Hierarchical Attention Network (DHAN). In this model, a multi-dimensional hierarchical structure is introduced on the first attention layer which attends to an individual item, and the subsequent attention layers in the same dimension attend to higher-level hierarchy built on top of the lower corresponding layers. To enable modeling of multiple dimensional hierarchies, an expanding mechanism is introduced to capture one to many hierarchies. This design enables DHAN to attend different importance to different hierarchical abstractions thus can fully capture user interests at different dimensions (e.g. category, price, or brand).To validate our model, a simplified DHAN has applied to Click-Through Rate (CTR) prediction and our experimental results on three public datasets with two levels of the one-dimensional hierarchy only by category. It shows the superiority of DHAN with significant AUC uplift from 12% to 21% over DIN. DHAN is also compared with another state-of-the-art model Deep Interest Evolution Network (DIEN), which models temporal interest. The simplified DHAN also gets slight AUC uplift from 1.0% to 1.7% over DIEN. A potential future work can be a combination of DHAN and DIEN to model both temporal and hierarchical interests.

연구 동기 및 목표

• 카테고리, 가격, 브랜드와 같은 다양한 차원에서 사용자 관심의 계층적 특성을 포착하지 못하는 기존 CTR 모델(DIN 및 DIEN)의 한계를 해결하기 위해.
• 계층적 주의 메커니즘을 사용하여 다차원에서 임의의 깊이의 관심 계층을 모델링할 수 있는 확장 가능한 아키텍처를 설계하기 위해.
• 각 차원 내에서 다양한 추상화 수준에 대해 중요도를 다르게 설정함으로써 주의 메커니즘을 통해 더 정확한 관심 표현을 가능하게 하기 위해.
• 공개 데이터셋을 활용한 실증적 평가를 통해 계층적 관심 모델링의 효과성을 검증하고, DIN 및 DIEN과 같은 최신 모델들과의 비교를 통해 성능을 평가하기 위해.
• 미래의 추천 시스템에서 계층적 관심과 시간적 관심 모델링을 결합할 잠재력을 탐색하기 위해.

제안 방법

• 각 차원(예: 카테고리, 가격)이 세부 항목에서 더 넓은 속성으로 향하는 관심 추상화의 수직 계층을 지원하는 다차원 계층적 구조를 도입한다.
• 하나의 차원 내에서 낮은 수준의 특징에서 높은 수준의 특징으로 점진적으로 고수준 특징을 구축하기 위해, 각 차원에 주의 모듈의 시리즈를 적용함으로써 계층 수준 간의 동적 주의 가중치 설정이 가능하도록 한다.
• 사용자 행동 시퀀스 하나에서 다중 계층적 차원을 생성하기 위해 항목 수준에서 확장 메커니즘을 적용함으로써, 일대다 계층적 관계를 효과적으로 캡처한다.
• 각 차원 내에서 개별 항목에 먼저 주의를 기울이고, 그 다음으로 고수준 속성에 주의를 기울이는 계층적 주의 메커니즘을 적용함으로써, 가장 관련성이 높은 추상화 수준에 집중할 수 있도록 한다.
• 공개된 Amazon 데이터셋에서 훈련된 단순화된 DHAN 변형을 CTR 예측에 적용하고, AUC를 주요 평가 지표로 사용한다.
• 동일한 실험 설정에서 DHAN을 DIN 및 DIEN과 비교함으로써, 계층적 주의 메커니즘이 성능에 미치는 영향을 분리하여 분석한다.

실험 결과

연구 질문

• RQ1 다양한 차원에서 사용자 관심을 계층적 구조로 모델링하는 것이 CTR 예측 성능 향상에 기여하는가?
• RQ2 DHAN의 계층적 주의 메커니즘이 DIN의 표준 주의 메커니즘에 비해 AUC 향상 측면에서 어떻게 다른가?
• RQ3 특히 동일한 데이터셋에 적용되었을 때, 계층적 관심 모델링이 시간적 관심 모델링(DIEN)보다 얼마나 뛰어나게 성능을 내는가?
• RQ4 확장 메커니즘이 원시 사용자 행동 시퀀스에서 다차원 계층적 표현을 효과적으로 생성할 수 있는가?
• RQ5 CTR 예측을 위한 사용자 관심 모델링에서 계층적 구조와 시간적 동적 특성 중 어느 것이 더 중요한 기여를 하는가?

주요 결과

• DHAN은 세 개의 공개 데이터셋에서 DIN 대비 12%에서 21%의 AUC 향상을 기록하여, 사용자 관심의 계층적 모델링이 효과적임을 입증한다.
• 동일한 데이터셋에서 DHAN은 DIEN 대비 약 1.0%에서 1.7%의 유의미하고 일관된 AUC 향상을 기록하여, 계층적 모델링이 시간적 모델링과 상호보완적인 이점을 제공함을 시사한다.
• 주의 가중치의 시각화 결과, 고수준 특징(예: 카테고리)이 대상 항목과 관련성이 높게 동적으로 활성화됨을 확인할 수 있었으며, 예를 들어 목표 핸드폰 케이스에 대해 '케이스' 카테고리에 40%의 주의 가중치가 할당된 바 있었다.
• Amazon 전자제품 데이터셋에서 100,000개의 전역 스텝 이후 훈련 곡선을 분석한 결과, DHAN은 DIN보다 더 빠르게 수렴하고 낮은 훈련 손실과 더 높은 AUC를 기록하였다.
• DIEN에 적합한 순차적 샘플링 방법을 사용할 경우 DHAN과 DIN 간의 성능 격차가 감소하는 것으로 나타나, 데이터 샘플링 전략이 모델 간 상대적 성능에 영향을 미칠 수 있음을 시사한다.
• 결과는 관심 계층을 모델링할 경우 더 정확한 사용자 표현이 가능하고, CTR 예측 성능이 향상됨을 뒷받침하는 가설을 지지한다.