[논문 리뷰] Binarized Collaborative Filtering with Distilling Graph Convolutional Networks

Haoyu Wang, Defu Lian외 1명|arXiv (Cornell University)|2019. 06. 05.

Recommender Systems and Techniques참고 문헌 24인용 수 23

한 줄 요약

이 논문은 음성 피드백 하에서 상위 K 추천을 가속화하기 위해 고차원 특성 인식 그래프 컬러션 네트워크(GCN-CF)로부터 순서 지식을 이진화된 협업 필터링 모델로 정제하는 새로운 프레임워크인 DGCN-BinCF를 제안한다. 이중 최적화 문제를 확률적 페널티를 통해 연속 문제로 재구성함으로써 SGD/Adam를 통한 효율적 학습이 가능해지며, 세 개의 실세계 데이터셋에서 최신 기술(SOTA) 성능을 달성하며 기존 기준 모델 대비 뚜렷한 정확도 향상을 보였다.

ABSTRACT

The efficiency of top-K item recommendation based on implicit feedback are vital to recommender systems in real world, but it is very challenging due to the lack of negative samples and the large number of candidate items. To address the challenges, we firstly introduce an improved Graph Convolutional Network~(GCN) model with high-order feature interaction considered. Then we distill the ranking information derived from GCN into binarized collaborative filtering, which makes use of binary representation to improve the efficiency of online recommendation. However, binary codes are not only hard to be optimized but also likely to incur the loss of information during the training processing. Therefore, we propose a novel framework to convert the binary constrained optimization problem into an equivalent continuous optimization problem with a stochastic penalty. The binarized collaborative filtering model is then easily optimized by many popular solvers like SGD and Adam. The proposed algorithm is finally evaluated on three real-world datasets and shown the superiority to the competing baselines.

연구 동기 및 목표

• 음성 샘플이 희소하고 후보 아이템 세트가 방대한 대규모 시스템에서 음성 피드백 하에서 상위 K 추천 속도를 높이는 데 도전하는 것.
• 이산 코드 표현으로 인한 정보 손실로 인해 일반적으로 성능이 저하되는 이진화된 협업 필터링의 정확도를 향상시키는 것.
• 이산적 특성의 이진 제약 조건을 연속적이고 미분 가능한 문제로 변환함으로써 이진 코드의 효율적 최적화를 가능하게 하는 것.
• 새로운 GCN 기반 모델(GCN-CF)을 통해 사용자와 아이템 간의 고차원 특성 상호작용을 활용해 표현 학습을 향상시키는 것.
• 강력한 GCN 모델에서 경량 이진화 모델로 순서 지식을 전이하여 실시간 추론을 가능하게 하는 것.

제안 방법

• 고차원 상호작용을 크로스 어텐션 메커니즘을 통해 사용자와 아이템 간의 특성 표현을 향상시키는 그래프 컬러션 네트워크(GCN-CF)를 제안한다.
• 사전 학습된 GCN-CF 모델에서 순서 선호도를 이진화된 협업 필터링 모델(DGCN-BinCF)으로 정제하는 지식 정제를 적용한다.
• 교사 모델과 학생 모델의 양성 아이템 분포뿐만 아니라 음성 아이템 분포의 차이를 최소화하는 새로운 정제 손실을 도입한다.
• 이진 최적화 문제를 확률적 페널티 항을 적용하여 연속적이고 경계 제약이 있는 최적화 문제로 재구성함으로써 기울기 기반 최적화를 가능하게 한다.
• 이진 코드의 비가역성에 비추어 표준 최적화 기법(SGD, Adam)을 사용해 이진화 모델을 엔드 투 엔드로 학습함으로써 문제 해결을 시도한다.
• 해싱 등의 색인 기법을 적용하여 실시간 상위 K 추천을 위한 근사 최근접 이웃 검색을 선형 또는 로그 시간 내에 수행할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 고차원 사용자-아이템 상호작용을 포괄하는 GCN 기반 모델이 음성 피드백 추천에서 표현 학습을 향상시킬 수 있는가?
• RQ2 강력한 GCN 모델에서 유도된 지식 정제가 이진화된 협업 필터링 모델의 성능을 효과적으로 향상시킬 수 있는가?
• RQ3 이산적 성격을 지닌 이진 코드를 기울기 기반 방법으로 효율적으로 최적화할 수 있는가?
• RQ4 제안된 프레임워크는 기존 이진 추천 기준 모델 대비 더 높은 추천 정확도를 달성하는가?
• RQ5 다양한 데이터셋에서 수렴성과 강인성 측면에서 모델 성능은 어떠한가?

주요 결과

• DGCN-BinCF는 MovieLens1M, MovieLens10M, Yelp의 세 데이터셋 전반에서 최고 성능을 기록하였으며, DCF, BCCF, PPH와 같은 SOTA 기준 모델을 모든 평가 지표에서 능가하였다.
• MovieLens1M에서 DGCN-BinCF는 Recall@100이 0.2405를 기록하여 DCF(0.0661), BCCF(0.0966), PPH(0.0627)보다 뚜렷하게 높았다.
• 제안된 GCN-CF 모델은 모든 지표에서 SpectralCF 대비 20% 이상 향상되었으며, 고차원 특성 집합의 효과를 입증하였다.
• 정제 구성 요소는 정제 없이 이진화 모델을 학습하는 것에 비해 모든 순서 지표에서 약 10% 향상된 성능 기여를 보였으며, 순서 지식 유지의 가치를 확인하였다.
• GCN-CF와 DGCN-BinCF의 학습 손실은 200 에포크 동안 안정적으로 수렴하였으며, 목적 함수의 복잡성에도 불구하고 안정적인 최적화를 보였다.
• 확률적 페널티를 통한 연속 근사화는 표준 최적화 기법을 사용한 이진 코드의 효과적 학습을 가능하게 하여 제안된 재구성 접근법의 타당성을 입증하였다.