[논문 리뷰] Graph DNA: Deep Neighborhood Aware Graph Encoding for Collaborative Filtering

Liwei Wu, Hsiang‐Fu Yu외 3명|arXiv (Cornell University)|2019. 05. 29.

Caching and Content Delivery참고 문헌 43인용 수 4

한 줄 요약

이 논문은 협업 필터링에서 다단계 이웃 정보를 효율적으로 근사하기 위해 블룸 필터를 사용하는 딥 이웃 인식 그래프 인코딩 방법인 Graph DNA를 제안한다. 선형 시간 내에 로그 시간 공간 복잡도로 고차원 그래프 구조를 인코딩함으로써, 행렬 분해 및 GCN 기반 모델에서 최소한의 계산 오버헤드로 성능을 크게 향상시킨다. 일부 데이터셋에서 직접적인 고차원 그래프 방법보다 최대 6배 빠른 속도와 15배 높은 성능을 기록한다.

ABSTRACT

In this paper, we consider recommender systems with side information in the form of graphs. Existing collaborative filtering algorithms mainly utilize only immediate neighborhood information and have a hard time taking advantage of deeper neighborhoods beyond 1-2 hops. The main caveat of exploiting deeper graph information is the rapidly growing time and space complexity when incorporating information from these neighborhoods. In this paper, we propose using Graph DNA, a novel Deep Neighborhood Aware graph encoding algorithm, for exploiting deeper neighborhood information. DNA encoding computes approximate deep neighborhood information in linear time using Bloom filters, a space-efficient probabilistic data structure and results in a per-node encoding that is logarithmic in the number of nodes in the graph. It can be used in conjunction with both feature-based and graph-regularization-based collaborative filtering algorithms. Graph DNA has the advantages of being memory and time efficient and providing additional regularization when compared to directly using higher order graph information. We conduct experiments on real-world datasets, showing graph DNA can be easily used with 4 popular collaborative filtering algorithms and consistently leads to a performance boost with little computational and memory overhead.

연구 동기 및 목표

• 고차원 이웃 정보를 그래프 기반 협업 필터링에서 효율적으로 활용하는 데 도전하는 것, 즉 일반적으로 계산 비용이 너무 높아서 고려하기 어려운 고차원 이웃 정보를 다루는 것.
• 추천 시스템에 다단계 그래프 정보를 통합할 때 계산 및 메모리 복잡도를 줄이는 것.
• 자원 사용량이 지수적으로 증가하지 않으면서도 더 깊은 이웃의 구조적 정보를 유지하는 확장 가능한 인코딩 방법을 개발하는 것.
• 특징 기반 및 그래프 정규화 기반 협업 필터링 프레임워크에 모두 통합하여 광범위한 적용성을 확보하는 것.
• 제안된 Graph DNA 인코딩의 효과성과 효율성을 이론적 및 실험적으로 검증하는 것.

제안 방법

• Graph DNA는 각 노드에서 지정된 횟수 이내의 홉 수로 도달할 수 있는 노드 집합을 블룸 필터를 사용해 인코딩하여 깊은 이웃 구조를 근사한다.
• 각 노드의 인코딩은 c차원의 이진 벡터이며, c = O(log n)이므로 이웃 집합을 로그 시간 공간으로 표현할 수 있다.
• 그래프 인접 행렬을 반복적으로 블룸 필터 연산에 적용함으로써 선형 시간 내에 근사된 이웃 정보를 계산한다.
• 결과적으로 생성된 노드 인코딩은 그래프 정규화 행렬 분해 및 GCN 기반 모델과 같은 협업 필터링 모델의 입력 특징 또는 정규화 항으로 사용된다.
• 블룸 필터의 확률적 소속 인코딩을 통해 노드 표현을 스무딩함으로써 암묵적인 정규화 효과를 제공한다.
• 명시적 및 암시적 피드백 설정 모두에서 작동하며, 아키텍처 변경 없이 다양한 협업 필터링 알고리즘에 적용 가능하다.

실험 결과

연구 질문

• RQ1 대규모 희소 그래프에서 협업 필터링을 위해 고차원 이웃 정보를 근사할 수 있는지, 이때 계산 비용이 금지적인 수준이 되지 않도록 할 수 있는가?
• RQ2 다단계 이웃 정보를 블룸 필터 기반 인코딩으로 처리할 경우, 얕은 또는 직접적인 고차원 방법 대비 추천 시스템에서 일반화 능력과 성능이 향상되는가?
• RQ3 직접적인 고차원 인접 행렬 계산(G^4 등)과 비교했을 때, Graph DNA는 시간, 메모리, 예측 성능 측면에서 효율성과 정확도에서 어떻게 다른가?
• RQ4 더 깊은 이웃 정보가 더 유용한 상황은 언제이며, Graph DNA는 이러한 상황을 적응적으로 포착할 수 있는가?
• RQ5 Graph DNA의 인코딩과 그래프 내 최단 경로 거리 측정 간의 이론적 관계는 무엇인가?

주요 결과

• 4차 고차원 정보를 사용할 때, Graph DNA는 직접적인 고차원 그래프 방법(G^4 등)보다 최대 15배 성능 향상을 기록했으며, 계산 속도는 6배 빠르게 작동했다.
• Flixster 데이터셋에서 GRMF_DNA-3(6홉)는 1홉 GRMF_G보다 10배 성능 향상을 기록하여 깊은 정보의 가치를 입증했다.
• Douban 데이터셋에서 GRMF_DNA-1은 모든 베이스라인을 초월해 기준 MF 대비 1.38배 성능 향상을 기록했으며, 이는 희박한 그래프에서 얕은 정보가 더 중요함을 시사한다.
• Graph DNA는 메모리 사용량을 크게 줄였다: GRMF_DNA-1의 블룸 필터 행렬 B는 G^2보다 비제로 요소가 20% 적었지만, 여전히 풍부한 구조적 정보를 유지했다.
• 합성 데이터셋에서 GRMF_DNA-3는 기준 MF 대비 상대적 19.1% 향상된 성능을 기록했으며, 전체 G^6보다도 17% 높은 성능을 기록했다.
• 암시적 피드백 작업에서 WMF_DNA-3는 Douban에서 WMF_G 대비 MAP를 7.1% 향상시켰고, Flixster에서는 6.6% 향상시켜 최소한의 오버헤드로 성능 향상을 달성했다.