[논문 리뷰] Cross-domain Recommendation via Deep Domain Adaptation

Heishiro Kanagawa, Hayato Kobayashi외 3명|arXiv (Cornell University)|2018. 03. 08.

Recommender Systems and Techniques참고 문헌 32인용 수 11

한 줄 요약

이 논문은 추천을 극단적 다중분류 문제로 간주하고, 도메인 분리 네트워크(DSN)와 스택드 노이즈 제거 autoencoder(SDAE)를 결합한 딥 도메인 적응 방법을 제안한다. 이 방법은 공통 사용자나 항목이 존재하지 않는 도메인 간 추천 문제에 효과적으로 적용되며, 특히 긴 추천 목록에서의 리콜 성능과 nDCG 기반 평가 지표에 맞춘 손실 함수를 사용할 경우 순위 정렬 성능이 향상된다. 기존의 기준 모델, 특히 최신 기술 수준의 협업 필터링 모델보다 뛰어난 성능을 기록한다.

ABSTRACT

The behavior of users in certain services could be a clue that can be used to infer their preferences and may be used to make recommendations for other services they have never used. However, the cross-domain relationships between items and user consumption patterns are not simple, especially when there are few or no common users and items across domains. To address this problem, we propose a content-based cross-domain recommendation method for cold-start users that does not require user- and item- overlap. We formulate recommendation as extreme multi-class classification where labels (items) corresponding to the users are predicted. With this formulation, the problem is reduced to a domain adaptation setting, in which a classifier trained in the source domain is adapted to the target domain. For this, we construct a neural network that combines an architecture for domain adaptation, Domain Separation Network, with a denoising autoencoder for item representation. We assess the performance of our approach in experiments on a pair of data sets collected from movie and news services of Yahoo! JAPAN and show that our approach outperforms several baseline methods including a cross-domain collaborative filtering method.

연구 동기 및 목표

• 공통 사용자나 항목이 존재하지 않는 도메인 간 추천에서 냉각기 사용자 문제를 해결한다.
• 보조 데이터나 사용자 프로필이 필요 없이 콘텐츠 기반 표현을 활용하여 협업 필터링 및 프로필 기반 방법의 한계를 극복한다.
• 도메인 간 적응 기술을 활용할 수 있도록 도메인 간 추천 문제를 극단적 다중분류 문제로 재정의한다.
• 도메인 간 적응과 평가 지표(예: nDCG)에 맞춘 손실 함수 최적화를 통해 추천 성능을 향상시킨다.
• 희귀 또는 새로운 항목에 대해 일반화 가능한 확장 가능한 딥 러닝 프레임워크를 개발한다.

제안 방법

• 각 항목을 클래스로 간주하고 사용자 행동을 기반으로 관련 항목을 예측하는 방식으로 도메인 간 추천 문제를 극단적 다중분류 문제로 설정한다.
• 스택드 노이즈 제거 autoencoder(SDAE)를 사용하여 텍스트, 메타데이터 등의 콘텐츠 특징에서 강건하고 저차원의 항목 표현을 학습한다.
• SDAE를 도메인 분리 네트워크(DSN)와 통합하여 도메인 불변 특징과 도메인 특화 특징을 분리하여 효과적인 도메인 간 적응을 달성한다.
• 분류 작업을 위한 소프트맥스 교차 엔트로피 손실을 사용하고, DSN 아키텍처 내에서 적대적 훈련을 통해 도메인 일치를 강제한다.
• 평가 지표인 nDCG에 맞춘 검증을 통해 모델을 최적화하여 순위 정렬 품질을 향상시킨다.
• nDCG@100을 최대화할 수 있도록 검증 세트에서 초모델 하이퍼파rameter 튜닝(가중치 감쇠 및 훈련 반복 수)을 통해 최적의 모델을 선택한다.

실험 결과

연구 질문

• RQ1 공통 사용자나 항목이 존재하지 않는 상황에서 딥 도메인 적응 기법이 도메인 간 추천에 효과적으로 적용될 수 있는가?
• RQ2 제안된 방법이 협업 필터링 및 인기 기반 기준 모델 대비 리콜과 순위 정렬 품질 측면에서 어떻게 성능을 내는가?
• RQ3 평가 지표(nDCG)에 맞춘 손실 함수 최적화가 추천 성능 향상에 얼마나 기여하는가?
• RQ4 노이즈 제거 autoencoder는 특히 희귀 또는 미리보지 않은 항목에 대해 항목 표현과 일반화 능력을 향상시킬 수 있는가?
• RQ5 짧은 추천 목록(예: K=5)을 추천할 경우 이 방법의 한계는 무엇이며, 이를 어떻게 완화할 수 있는가?

주요 결과

• 제안된 방법 I-DSN은 K=50 및 K=100일 때 인기 기준 모델(POP)보다 더 높은 리콜 성능을 기록하여 관련 항목의 커버리지가 더 우수하다.
• 평가 지표인 nDCG@100에서 DSN은 손실 함수가 평가 지표에 맞춰질 경우 인기 기준 모델보다 뛰어난 성능을 보이며, 순위 정렬 품질 향상을 입증한다.
• 모델 성능은 손실 함수의 선택에 민감하다: 표준 교차 엔트로피 손실은 더 높은 리콜을, 그러나 낮은 nDCG를 유도하지만, nDCG 기반 최적화는 순위 정렬 성능 향상을 이룬다.
• 강력한 성능에도 불구하고, 이 방법은 짧은 추천 목록(예: K=5)에서는 인기 기준 모델에 비해 성능이 열 劣하므로, 초기 순위 정렬 품질 향상에 도전 과제가 있다.
• SDAE와 DSN의 조합은 일반화 능력을 향상시키지만, 소프트맥스 가중치를 SDAE 특징으로 초기화하는 것은 추가적인 성능 향상을 이끌지 못했으며, 이는 특징 표현력의 한계를 시사한다.
• nDCG@100 기반 선택을 통한 초모델 하이퍼파rameter 튜닝이 최고의 모델 성능을 이끌어내어, 훈련 목표를 평가 지표와 일치시키는 것이 중요하다는 점을 확인한다.