[논문 리뷰] Matrix Completion with Hierarchical Graph Side Information

Adel Elmahdy, Junhyung Ahn외 2명|arXiv (Cornell University)|2022. 01. 02.

Advanced Graph Neural Networks참고 문헌 60인용 수 9

한 줄 요약

이 논문은 계층적 그래프 사전 정보—특히 두 수준의 군집 구조와 각 하위군집에 대해 별개의 평점 벡터를 갖는 것—을 활용하여 최적의 샘플 복잡도를 달성하는 새로운 행렬 완성 알고리즘을 제안한다. 반복적으로 그래프 군집화와 평점 예측을 개선함으로써, 계층적 스토하스틱 블록 모형 하에서 정보 이론적 한계에 도달하며, 비계층적 방법보다 샘플 효율성에서 뚜렷한 우수성을 보인다.

ABSTRACT

We consider a matrix completion problem that exploits social or item similarity graphs as side information. We develop a universal, parameter-free, and computationally efficient algorithm that starts with hierarchical graph clustering and then iteratively refines estimates both on graph clustering and matrix ratings. Under a hierarchical stochastic block model that well respects practically-relevant social graphs and a low-rank rating matrix model (to be detailed), we demonstrate that our algorithm achieves the information-theoretic limit on the number of observed matrix entries (i.e., optimal sample complexity) that is derived by maximum likelihood estimation together with a lower-bound impossibility result. One consequence of this result is that exploiting the hierarchical structure of social graphs yields a substantial gain in sample complexity relative to the one that simply identifies different groups without resorting to the relational structure across them. We conduct extensive experiments both on synthetic and real-world datasets to corroborate our theoretical results as well as to demonstrate significant performance improvements over other matrix completion algorithms that leverage graph side information.

연구 동기 및 목표

• 추천 시스템의 쿨스타트 문제를 해결하기 위해 계층적 사회 또는 항목 유사성 그래프를 사전 정보로 활용하는 것.
• 계층적 그래프 모형 하에서 신뢰할 수 있는 행렬 완성을 위해 필요한 관측된 행렬 원소의 정보 이론적 최소 수를 규명하는 것.
• 광범위한 시나리오에서 최적의 샘플 복잡도를 달성하는 계산적으로 효율적이고 파라미터가 없는 알고리즘을 개발하는 것.

제안 방법

• 알고리즘은 사용자 네트워크 내의 군집과 하위군집(그룹)을 식별하기 위해 계층적 그래프 군집화를 시작한다.
• 그런 다음, 공동 최적화 프레임워크를 사용하여 그래프 군집화 구조와 행렬 평점 추정치를 반복적으로 개선한다.
• 군집 내 각 그룹을 낮은 차원의 부분공간에 위치한 별개의 평점 벡터로 모델링함으로써 구조화된 추정을 가능하게 한다.
• 각 그룹과 군집 간의 관계 구조를 형식화하기 위해 계층적 스토하스틱 블록 모형을 사용하여 현실적인 사회 그래프 성질을 반영한다.
• 이론적 분석은 농도 부등식과 수정 방법을 활용하여 간선이 없는 하위군집의 존재를 증명함으로써 강건한 군집화를 보장한다.
• 알고리즘은 단지 군집 소속성 외에도 그룹 간 평점 벡터 간의 관계 구조를 완전히 활용함으로써 최적의 샘플 복잡도를 달성한다.

실험 결과

연구 질문

• RQ1 계층적 그래프 사전 정보가 제공될 때, 신뢰할 수 있는 행렬 완성을 위해 필요한 관측 원소의 수에 대한 기본 한계는 무엇인가?
• RQ2 하위군집 내 평점 벡터 간의 관계 구조를 활용하는 것과 하위군집을 독립된 그룹으로 간주하는 것 간에 샘플 복잡도 측면에서 어떤 차이가 있는가?
• RQ3 실제 계층적 그래프 모형 하에서 계산적으로 효율적이고 파라미터가 없는 알고리즘이 정보 이론적 하한선에 도달할 수 있는가?
• RQ4 단순한 군집화에 비해 사회 그래프의 계층적 구조가 샘플 복잡도 향상에 뚜렷한 이점을 제공하는가?
• RQ5 제안된 방법은 기존의 그래프 보조 행렬 완성 알고리즘 대비 합성 및 실세계 데이터셋에서 어떻게 실증적으로 성능을 발휘하는가?

주요 결과

• 제안된 알고리즘은 계층적 스토하스틱 블록 모형 하에서 행렬 완성에 대해 정보 이론적 최적 샘플 복잡도를 달성한다.
• 관계 구조를 忽시하는 비계층적 방법에 비해, 하위군집 내 평점 벡터 간의 관계 구조를 고려함으로써 필요한 관측 원소의 수를 크게 줄일 수 있다.
• 이론적 분석을 통해 알고리즘의 샘플 복잡도가 최대우도추정 하한선과 일치함을 확인하여 최적성의 증명이 이루어졌다.
• 합성 및 실세계 데이터셋에서의 실증 결과는 기존의 그래프 보조 행렬 완성 방법보다 일관된 성능 향상을 보였다.
• 알고리즘은 파라미터가 없고 계산적으로 효율적이므로, 추천 시스템에서의 실세계 구현에 실용적이다.
• 계층적 구조의 활용은 샘플 복잡도 향상에 상당한 기여를 하였으며, 사회 그래프에서 그룹 간 관계를 모델링하는 것이 중요하다는 점을 검증한다.