[논문 리뷰] DemiNet: Dependency-Aware Multi-Interest Network with Self-Supervised Graph Learning for Click-Through Rate Prediction

Yule Wang, Qiang Luo외 4명|arXiv (Cornell University)|2021. 09. 26.

Recommender Systems and Techniques참고 문헌 27인용 수 4

한 줄 요약

DemiNet은 클릭-through 레이트(CTR) 예측을 위한 종속성 인식 다중 관심망과 자기지도 그래프 학습을 제안한다. 이는 다양한 항목 간 종속성을 모델링하고 행동 시계열을 노이즈 제거하기 위해 이질적 그래프 어텐션을 사용하며, 다중 관심 추출의 강건성을 향상시키기 위해 자기지도 학습을 적용하고, 경로별 전문가와 신뢰도 네트워크를 활용해 적응형 집계를 수행한다. 이는 세 개의 실세계 데이터셋에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

In this paper, we propose a novel model named DemiNet (short for DEpendency-Aware Multi-Interest Network) to address the above two issues. To be specific, we first consider various dependency types between item nodes and perform dependency-aware heterogeneous attention for denoising and obtaining accurate sequence item representations. Secondly, for multiple interests extraction, multi-head attention is conducted on top of the graph embedding. To filter out noisy inter-item correlations and enhance the robustness of extracted interests, self-supervised interest learning is introduced to the above two steps. Thirdly, to aggregate the multiple interests, interest experts corresponding to different interest routes give rating scores respectively, while a specialized network assigns the confidence of each score. Experimental results on three real-world datasets demonstrate that the proposed DemiNet significantly improves the overall recommendation performance over several state-of-the-art baselines. Further studies verify the efficacy and interpretability benefits brought by the fine-grained user interest modeling.

연구 동기 및 목표

• CTR 예측에서 정확한 다중 관심 추출을 방해하는 노이즈가 많고 얽히고 설킨 사용자 행동 시계열을 해결하기 위해.
• 기존 방법에서 자주 간과되는 추출된 관심 벡터 간 잠재 상관관계를 모델링하기 위해.
• 자기지도 학습을 통해 사용자 관심 표현의 강건성과 해석 가능성 향상을 위해.
• 경로별 전문가와 신뢰도 네트워크를 활용해 다중 관심 표현을 적응형으로 집계함으로써 예측 정확도를 향상시키기 위해.

제안 방법

• 사용자 행동 시계열 내 항목 간 관계를 모델링하기 위해 네 가지 종류의 종속성(맥락적, 유사도, 순차적, 동시 발생)을 가진 이질적 그래프를 구축한다.
• 계층적이고 종속성 인식 이질적 어텐션을 적용해 시계열을 노이즈 제거하고 정확한 항목 표현을 생성한다.
• 상호작용 및 다중 관심 추출 모듈에서 무작위 엣지 제거를 통한 자기지도 관심 학습을 도입하여 노이즈가 많은 상관관계를 걸러낸다.
• 그래프 임베딩에 다중헤드 어텐션을 적용해 사용자 핵심 관심을 다수 추출한다.
• 경로별 관심 전문가를 활용해 각 관심 경로에 대한 개별 CTR 예측을 생성한다.
• Confidence 네트워크(Confi-Net)를 도입해 각 전문가의 예측에 동적 신뢰도 가중치를 할당하고, 적응형 집계를 가능하게 한다.

실험 결과

연구 질문

• RQ1 노이즈가 많은 사용자 행동 시계열에서 항목 간 종속성 인식 모델링이 CTR 예측을 위한 표현 학습에 어떻게 기여하는가?
• RQ2 자기지도 학습이 추출된 다중 관심 표현의 강건성에 얼마나 기여하는가?
• RQ3 신뢰도 가중치가 적용된 경로별 전문가가 단일 또는 연결된 관심 벡터에 비해 예측 정확도를 향상시키는가?
• RQ4 다양한 그래프 컨볼루션 연산자와 관심 경로 수 등 초모수(예: K)가 모델 성능에 미치는 영향은 어떠한가?

주요 결과

• DemiNet은 세 개의 실세계 데이터셋에서 최신 기술(SOTA) 성능을 달성했으며, AUC와 Log Loss 모두 기존 SOTA 기준을 초월한다.
• 제거 실험을 통해 DHA, 자기지도 학습, 다중 관심 집계 모두 모델 성능 향상에 뚜렷한 기여를 한다는 것이 확인되었다.
• 다중 종속성 인식 이질적 어텐션(DHA) 모듈이 맥락적 및 유사도 종속성을 효과적으로 모델링함으로써 가장 큰 성능 향상을 이끌어냈다.
• 자기지도 관심 학습은 관심 추출 과정에서 노이즈가 많은 항목 간 상관관계를 걸러내어 강건성을 향상시켰다.
• 관심 경로 수(K)가 K=16를 초과하면 수익 감소 현상이 나타나며, 과적합과 계산 비용 증가로 인해 성능이 포화 상태에 이르게 된다.
• t-SNE 시각화 결과, 동일한 경로에서 유도된 관심 벡터들이 서로 뭉쳐 있는 것으로 확인되어, 모델이 세밀하고 해석 가능한 사용자 의도를 효과적으로 학습하고 있음을 검증했다.