[논문 리뷰] Learning to Hash with Graph Neural Networks for Recommender Systems

Qiaoyu Tan, Ninghao Liu외 4명|arXiv (Cornell University)|2020. 03. 04.

Advanced Image and Video Retrieval Techniques참고 문헌 53인용 수 12

한 줄 요약

이 논문은 효율적인 추천 검색을 위해 그래프 신경망을 사용하여 연속적인 그래프 임베딩과 이산적인 이진 해시 코드를 동시에 학습하는 새로운 엔드투엔드 프레임워크인 HashGNN을 제안한다. 직선 통과 추정기(steered straight-through estimator)를 도입하여 학습을 안정화하고, 링크 복원 및 순서 유지 최적화를 동시에 수행함으로써, 연속 모델과 유사한 성능을 달성하면서도 추론 속도를 수배 이상으로 향상시킨다.

ABSTRACT

Graph representation learning has attracted much attention in supporting high quality candidate search at scale. Despite its effectiveness in learning embedding vectors for objects in the user-item interaction network, the computational costs to infer users' preferences in continuous embedding space are tremendous. In this work, we investigate the problem of hashing with graph neural networks (GNNs) for high quality retrieval, and propose a simple yet effective discrete representation learning framework to jointly learn continuous and discrete codes. Specifically, a deep hashing with GNNs (HashGNN) is presented, which consists of two components, a GNN encoder for learning node representations, and a hash layer for encoding representations to hash codes. The whole architecture is trained end-to-end by jointly optimizing two losses, i.e., reconstruction loss from reconstructing observed links, and ranking loss from preserving the relative ordering of hash codes. A novel discrete optimization strategy based on straight through estimator (STE) with guidance is proposed. The principal idea is to avoid gradient magnification in back-propagation of STE with continuous embedding guidance, in which we begin from learning an easier network that mimic the continuous embedding and let it evolve during the training until it finally goes back to STE. Comprehensive experiments over three publicly available and one real-world Alibaba company datasets demonstrate that our model not only can achieve comparable performance compared with its continuous counterpart but also runs multiple times faster during inference.

연구 동기 및 목표

• 대규모 추천 시스템의 리콜 단계에서 연속 임베딩 추론의 비효율성을 해결하기 위해.
• 고품질의 연속 임베딩과 효율적인 이진 해싱 사이의 격차를 메우기 위해.
• 신호 함수의 비가역성으로 인해 어려운 딥 해싱의 엔드투엔드 학습을 그래프 신경망을 통해 가능하게 하기 위해.
• 해시 코드 내 상대적 순서를 유지하여 해밍 공간 내 검색의 효과성을 확보하기 위해.
• 이산 해싱 학습에서 기울기 노이즈를 피하는 안정적인 최적화 전략을 개발하기 위해.

제안 방법

• 이중 스트림 아키텍처: 연속 노드 표현을 위한 GNN 인코더와 부호 함수(sign function)를 통해 이진 코드로 매핑하는 해시 레이어.
• 두 가지 손실의 동시 최적화: 관측된 사용자-아이템 상호작용을 복원하는 복원 손실과 해시 코드의 상대적 유사도 순서를 유지하는 순서 손실.
• 연속 임베딩 신호를 활용하여 신호 함수를 통한 기울기 역전파를 안정화시키는 새로운 가이드드 스트레이트스루 추정기(Steered Straight-Through Estimator, STE).
• 지속적인 최적화에서 이산 최적화로 점진적으로 전환할 수 있도록 하기 위해, 트레이드오프 하이퍼파ram터 $p$를 동적으로 조정하는 전략.
• 랭킹 손실을 위한 랭킹 신호를 생성하기 위해 (사용자, 긍정적 아이템, 부정적 아이템)의 트리플릿을 사용한다.
• 기울기 역전파를 통해 엔드투엔드로 학습되며, 가이드드 STE 덕분에 비가역적인 부호 함수 조차 효과적인 기울기 흐름을 확보한다.

실험 결과

연구 질문

• RQ1 GNN 기반 딥 해싱은 연속 임베딩 수준의 성능을 달성하면서도 더 빠른 추론을 가능하게 할 수 있는가?
• RQ2 엔드투엔드 해싱 학습에서 비가역적인 부호 함수를 통한 기울기 흐름은 어떻게 안정화할 수 있는가?
• RQ3 해시 코드 내 상대적 순서를 유지하면 해밍 공간 내 검색 효과성이 향상되는가?
• RQ4 최적화 궤적의 동적 조정은 모델 수렴과 성능에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 추천 시스템 내 다양한 GNN 아키텍처에 쉽게 확장 가능한가?

주요 결과

• HashGNN은 세 개의 공개 데이터셋과 하나의 실세계 알리바바 데이터셋에서 연속 GNN 모델과 비교해 유사한 검색 성능을 달성한다.
• 작은 이진 코드 덕분에 연속 임베딩 기반 방법보다 추론 속도가 수배 이상으로 빠르게 작동한다.
• 기존의 표준 STE에 비해 가이드드 스트레이트스루 추정기가 기울기 노이즈를 줄이며 학습 안정성과 성능을 크게 향상시켰다.
• 하이퍼파ram터 $p$의 동적 조정은 고정된 $p$보다 더 우수한 성능을 내며, 어려운 이산 최적화 문제를 더 쉽게 풀 수 있는 부분 문제들로 분해한다.
• 사용자당 4~10개의 트리플릿을 사용할 경우 최적의 성능을 내며, 트리플릿 수의 변화에 대해 모델이 강건함을 입증했다.
• 해시 코드 차원 $K$를 늘일수록 성능 향상이 나타나며, 특히 작은 $K$ 값일 때 유의미한 개선이 관찰되나, $K$가 커질수록 성능 향상 폭은 점점 감소한다.