[논문 리뷰] A Topic Modeling Approach to Ranking

Weicong Ding, Prakash Ishwar외 1명|arXiv (Cornell University)|2014. 12. 11.

Recommender Systems and Techniques참고 문헌 24인용 수 9

한 줄 요약

이 논문은 사용자 쌍별 선호도를 다수의 공유 잠재 순위의 확률적 혼합으로 모델링함으로써 이질적이고 일관되지 않은 사용자 행동을 일관적으로 추정할 수 있는 새로운 주제 모델링 기반 순위 매기기 접근법을 제안한다. 순위 문제를 주제 모델링에 공식적으로 연결함으로써, 증명 가능하고 일관된 추정, 다항식 수료 및 계산 복잡도, 그리고 실제 및 반합성 데이터셋에서의 경쟁력 있는 경험적 성능을 달성한다.

ABSTRACT

We propose a topic modeling approach to the prediction of preferences in pairwise comparisons. We develop a new generative model for pairwise comparisons that accounts for multiple shared latent rankings that are prevalent in a population of users. This new model also captures inconsistent user behavior in a natural way. We show how the estimation of latent rankings in the new generative model can be formally reduced to the estimation of topics in a statistically equivalent topic modeling problem. We leverage recent advances in the topic modeling literature to develop an algorithm that can learn shared latent rankings with provable consistency as well as sample and computational complexity guarantees. We demonstrate that the new approach is empirically competitive with the current state-of-the-art approaches in predicting preferences on some semi-synthetic and real world datasets.

연구 동기 및 목표

• 기존 순위 모델이 단일 글로벌 순위 또는 이산적인 선호 유형으로 사용자를 군집화하는 것을 전제로 하는 한계를 해결하기 위해.
• 사용자 선호 행동을 혼합 소속 잠재변수 모델로 모델링하여 인구 집단의 이질성과 일관되지 않은 개인 행동을 모두 포착하기 위해.
• 공유 잠재 순위의 일관된 추정을 보장하는 알고리즘을 개발하여 샘플 및 계산 복잡도에 대한 증명 가능한 경계를 확보하기 위해.
• 선호도 예측 작업에서 최첨단 방법과의 경험적 경쟁력을 입증하기 위해.
• 순위와 주제 모델링 사이에 공식적인 연결 고리를 구축하여 고급 주제 모델링 알고리즘을 순위 문제에 적용할 수 있도록 하기 위해.

제안 방법

• 논문은 각 사용자의 선호도가 다수의 공유 글로벌 순위의 확률적 혼합으로 모델링되는 새로운 생성 모델을 도입한다.
• 순위 문제와 주제 모델링 문제 사이에 공식적인 동치성을 설정함으로써 기존 주제 모델링 추론 기법의 사용이 가능해진다.
• 최근 주제 모델링의 발전(예: Arora 등, 2013; Ding 등, 2013b, 2014)을 활용하여 증명 가능한 일관성을 갖는 잠재 순위를 추정한다.
• 난수 사영과 볼록 최적화를 기반으로 한 새로운 알고리즘을 개발하여 다항식 수료 및 계산 복잡도를 보장한다.
• 이중 단계 절차를 사용한다: 첫 번째로 랜덤 사영 기반으로 공유 순위를 추정하고, 두 번째로 O(WK) 복잡도의 후처리 단계를 통해 추정치를 정밀화한다.
• 집중 부등식과 유니온 바운드를 사용하여 이론적 보장을 도출하였으며, 사용자 수와 사영 수가 증가할수록 추정 오차가 감소함을 보였다.

실험 결과

연구 질문

• RQ1 혼합 소속을 고려한 주제 모델링 프레임워크가 사용자 쌍별 선호도 순위 모델링에 효과적으로 적용될 수 있는가?
• RQ2 다수의 공유 순위로 사용자 선호도를 혼합으로 모델링할 경우, 단일 순위 또는 군집 기반 모델 대비 예측 정확도가 향상되는가?
• RQ3 제한된 사용자별 비교 수에서 공유 잠재 순위 추정에 대해 증명 가능한 일관성과 효율적인 계산이 달성될 수 있는가?
• RQ4 제안된 방법이 협업 기반 선호도 예측에서 최첨단 접근법과 경험적으로 어떻게 비교되는가?
• RQ5 실제 가정 조건 하에서 제안된 알고리즘의 이론적 수료 복잡도와 계산 효율성은 어떠한가?

주요 결과

• 제안된 모델은 혼합 멜로스 및 FJS 모델을 특수 케이스로 포함하며, 더 일반적인 프레임워크를 제공한다.
• 사용자 수 M → ∞ 일 때조차도, 각 사용자가 일정 수의 비교만 제공하더라도 渐近 일관성이 확보된다.
• 모델은 다항식 수료 복잡도와 계산 복잡도를 보장하며, 이는 W(아이템 수), K(잠재 순위 수), 및 모델 파라미터에 따라 달라진다.
• 경험적 평가에서 반합성 및 실제 세계 데이터셋 모두에서 경쟁력 있는 성능을 보였으며, 실제 사용자 선호도의 변동성을 효과적으로 포착하였다.
• 이론적 분석을 통해 온건한 조건 하에서 추정 오차가 O(1/√M) 이하로 유계임을 입증하였으며, 이전 연구 대비 W에 대한 의존도가 향상됨을 보였다.
• 수료 복잡도 경계에서 W에 대한 의존도를 W^{1.5} 에서 K√W 로 감소시켜 K ≪ W 인 경우에 있어 상당한 향상이 이루어졌다.