[논문 리뷰] LT-OCF: Learnable-Time ODE-based Collaborative Filtering

Jeongwhan Choi, Jinsung Jeon외 1명|arXiv (Cornell University)|2021. 08. 08.

Recommender Systems and Techniques참고 문헌 50인용 수 6

한 줄 요약

LT-OCF는 사용자 및 아이템 임베딩의 진동을 상호진화하는 미분방정식(ODE)으로 모델링하는 학습가능한 시간 기반 ODE 기반 협업필터링 프레임워크를 제안한다. 이는 최적의 특성 집합 시간을 학습함으로써 성능을 향상시킨다. 세 가지 벤치마크 데이터셋에서 최신 기술을 초월하며, 특히 RK4와 같은 밀도 높은 ODE 해법기법과 학습 가능한 시간 간격을 사용할 경우 최고의 성능을 기록한다.

ABSTRACT

Collaborative filtering (CF) is a long-standing problem of recommender systems. Many novel methods have been proposed, ranging from classical matrix factorization to recent graph convolutional network-based approaches. After recent fierce debates, researchers started to focus on linear graph convolutional networks (GCNs) with a layer combination, which show state-of-the-art accuracy in many datasets. In this work, we extend them based on neural ordinary differential equations (NODEs), because the linear GCN concept can be interpreted as a differential equation, and present the method of Learnable-Time ODE-based Collaborative Filtering (LT-OCF). The main novelty in our method is that after redesigning linear GCNs on top of the NODE regime, i) we learn the optimal architecture rather than relying on manually designed ones, ii) we learn smooth ODE solutions that are considered suitable for CF, and iii) we test with various ODE solvers that internally build a diverse set of neural network connections. We also present a novel training method specialized to our method. In our experiments with three benchmark datasets, Gowalla, Yelp2018, and Amazon-Book, our method consistently shows better accuracy than existing methods, e.g., a recall of 0.0411 by LightGCN vs. 0.0442 by LT-OCF and an NDCG of 0.0315 by LightGCN vs. 0.0341 by LT-OCF in Amazon-Book. One more important discovery in our experiments that is worth mentioning is that our best accuracy was achieved by dense connections rather than linear connections.

연구 동기 및 목표

• 협업필터링(CF)에서 수작업으로 설계된 아키텍처의 한계를 해결하기 위해 최적의 구조적 구성 요소를 학습하는 것.
• 사용자 및 아이템 임베딩 전파를 연속 시간 기반 상호진화 ODE로 모델링하여 부드럽고 적응형 특성 학습을 가능하게 하는 것.
• 고정된 시간대신 학습을 통해 계층 조합 시간을 학습함으로써 추천 정확도를 향상시키는 것.
• 다양한 ODE 해법기법이 CF에 미치는 영향을 조사하며, 특히 유도되는 연결성 패턴(예: 밀도 높은 vs. 잔여 연결)에 초점을 맞추는 것.

제안 방법

• 선형 GCN(예: LightGCN)을 ODE로 재구성하여, 계층 조합을 연속 시간 과정으로 간주하고 이를 미분방정식이 지배하는 과정으로 해석한다.
• 학습 가능한 시간점 $ t_1, t_2, ..., t_T $ 를 도입하여 사용자 및 아이템 임베딩을 집계할 최적의 샘플링 시간을 학습할 수 있도록 한다.
• 다양한 ODE 해법기법(예: 오일러, RK4)을 사용해 ODE를 수치적으로 통합하며, 서로 다른 해법기법은 서로 다른 연결성 패턴(예: RK4는 밀도 높은 연결)을 유도한다.
• ODE의 연속성과 기울기 기반 학습을 활용해 잘 정의된 최적화를 보장하는 새로운 학습 방법을 제안한다.
• 학습된 시간점에서의 ODE 해를 사용해 계층 조합을 구성하며, 이는 딥 네트워크의 잔여 또는 밀도 높은 연결과 유사하다.
• ODE 해법기구를 통한 효율적 역전파를 위해 인접 방법(Adjoint method)을 적용하여 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 ODE 기반 CF에서 학습 가능한 시간점이 고정 또는 수작업 설계된 아키텍처보다 추천 정확도를 향상시키는가?
• RQ2 CF에서 어떤 ODE 해법기법이 최고의 성능을 내며, 유도되는 연결성 패턴(예: 잔여, 밀도 높음)이 모델 정확도에 미치는 영향은 어떠한가?
• RQ3 임베딩 전파의 연속 시간 형식이 희소한 사용자-아이템 상호작용 그래프에서 일반화 능력 향상과 과적합 감소에 기여하는가?
• RQ4 밀도 높은 연결과 같은 특정 구조적 인덕티브 바이어스가 ODE 기반 CF에서 표준 잔여 아키텍처를 일관되게 능가하는가?
• RQ5 LT-OCF에서 다양한 ODE 해법기법 간의 계산 비용과 추천 정확도 간의 트레이드오프는 어떻게 변화하는가?

주요 결과

• LT-OCF는 Recall 및 NDCG와 같은 다수의 평가 지표에서 세 가지 벤치마크 데이터셋(Gowalla, Yelp2018, Amazon-Book)에서 최신 기술을 모두 압도적으로 뛰어넘는 성능을 기록했다.
• 최고의 성능은 RK4 ODE 해법기법을 사용할 때 달성되었으며, 이는 DenseNet과 유사한 밀도 높은 연결을 내부적으로 구축한다. Gowalla에서 Recall은 0.1875, NDCG는 0.1574를 기록했다.
• 시간점 $ t_i $ 를 학습하는 것은 고정된 시간 설정보다 성능 향상에 기여한다. 예를 들어, Gowalla에서 시간 학습 시 Recall은 0.1859에서 0.1875로 향상되었다.
• 오일러 방법은 더 빠르지만 RK4보다 정확도가 낮았지만, 더 긴 학습 및 추론 시간에도 불구하고 LightGCN를 초월하는 Recall 성능을 기록했다.
• 모델의 $ K=4 $ 및 $ T=3 $ 설정에서 최고의 성능을 기록했으며, 이는 중간 수준의 시간 간격과 특성 집합 수준이 최적임을 시사한다.
• 고차수 해법기법(예: RK4)이 유도하는 밀도 높은 연결이 뛰어난 것으로 나타났으며, 이는 ODE 기반 모델을 초월한 CF에 있어서도 이러한 아키텍처가 최적일 수 있음을 시사한다.