[논문 리뷰] Preference Completion from Partial Rankings

Suriya Gunasekar, Oluwasanmi Koyejo외 1명|arXiv (Cornell University)|2016. 11. 14.

Multi-Criteria Decision Making참고 문헌 32인용 수 4

한 줄 요약

이 논문은 수치적 점수 대신 기본적인 선호 질서를 직접 모델링하는 볼록 최적화 기반의 공동 선호 완성 방법을 제안한다. 저질서 행렬 추정과 노름 정규화를 사용하며, Movielens 및 Neurosynth 데이터셋에서 표준 행렬 완성 및 순위 기반 기준보다 뛰어난 성능을 보이며, 특히 NDCG와 켄달 타우와 같은 순위 메트릭에서 뛰어나며, 표준 방법과 비슷한 계산 효율성을 유지한다.

ABSTRACT

We propose a novel and efficient algorithm for the collaborative preference completion problem, which involves jointly estimating individualized rankings for a set of entities over a shared set of items, based on a limited number of observed affinity values. Our approach exploits the observation that while preferences are often recorded as numerical scores, the predictive quantity of interest is the underlying rankings. Thus, attempts to closely match the recorded scores may lead to overfitting and impair generalization performance. Instead, we propose an estimator that directly fits the underlying preference order, combined with nuclear norm constraints to encourage low--rank parameters. Besides (approximate) correctness of the ranking order, the proposed estimator makes no generative assumption on the numerical scores of the observations. One consequence is that the proposed estimator can fit any consistent partial ranking over a subset of the items represented as a directed acyclic graph (DAG), generalizing standard techniques that can only fit preference scores. Despite this generality, for supervision representing total or blockwise total orders, the computational complexity of our algorithm is within a $\log$ factor of the standard algorithms for nuclear norm regularization based estimates for matrix completion. We further show promising empirical results for a novel and challenging application of collaboratively ranking of the associations between brain--regions and cognitive neuroscience terms.

연구 동기 및 목표

• 관측된 점수가 단조성 변환 또는 양자화에 의해 왜곡될 수 있는 표준 행렬 완성의 한계를 해결하기 위해.
• 전체 순서나 블록 단위 전체 순서를 초월하여 방향성 비순환 그래프(DAG)로 표현된 부분 순위로부터 선호를 완성할 수 있도록 하기 위해.
• 관측된 노이즈가 많거나 변환된 수치적 점수를 피팅하는 대신, 기본 선호 질서를 직접 모델링하여 일반화 성능을 향상시키기 위해.
• 복잡한 부분 순서 입력을 처리할 때도 표준 저질서 행렬 완성과 유사한 계산 효율성을 유지하기 위해.
• 추천 시스템 및 뇌영상 메타분석과 같은 실제 응용 분야에서 성능을 평가하기 위해.

제안 방법

• 관측된 점수에 대한 특정 생성 모델을 가정하지 않고, 기본 선호 질서를 직접 피팅하는 리타겟팅 행렬 완성(RMC) 추정기를 제안한다.
• 일반화를 보장하기 위해 추정된 선호 행렬의 저질서 구조를 유도하기 위해 노름 정규화를 사용한다.
• 간선이 엄격한 쌍별 선호를 나타내는 방향성 비순환 그래프(DAG)로 부분 순위를 모델링한다.
• 관측된 순서 제약 조건을 충족하면서 질서를 최소화하는 볼록 최적화 문제로 변환한다.
• 순위 피팅 문제의 볼록 근사화를 통해 이론적 보장을 갖춘 효율적인 최적화를 가능하게 한다.
• 표준 핵심 노름 기반 행렬 완성 알고리즘과 비슷한 복잡도를 가지며, 계산 효율성이 뛰어나다.

실험 결과

연구 질문

• RQ1 관측된 점수가 임의의 단조성 변환에 영향을 받는 상황에서 볼록 최적화 프레임워크가 공동 선호를 효과적으로 완성할 수 있는가?
• RQ2 제안된 방법은 전체 순서나 블록 단위 전체 순서를 초월하여 방향성 비순환 그래프(DAG)로 표현된 부분 순위를 처리할 수 있는가?
• RQ3 직접 선호 질서를 모델링하는 것이 관측된 수치적 점수를 피팅하는 것보다 공동 순위 작업에서 더 나은 일반화 성능을 낼 수 있는가?
• RQ4 부분 순서 감독이 존재할 경우 제안된 방법의 계산 복잡도는 표준 행렬 완성 알고리즘과 비교하여 어떻게 되는가?
• RQ5 추천 시스템 및 뇌영상 메타분석과 같은 실제 응용 분야에서 NDCG와 켄달 타우와 같은 순위 메트릭에서 뛰어난 성능을 달성할 수 있는가?

주요 결과

• Movielens 100K 데이터셋에서 제안된 RMC 방법은 평균 NDCG@5가 0.7984 (±0.0213)을 기록하여 SMC(0.7863)와 CoFi-Rank(0.7731)를 뛰어넘었다.
• Precision@5에서는 RMC가 0.7546 (±0.0320)을 기록하여 SMC(0.7429)와 CoFi-Rank(0.7314)를 초월했다.
• 스피어만 로프에서는 RMC가 0.4137 (±0.0099)을 기록하여 SMC(0.3722)와 CoFi-Rank(0.3681)보다 유의미하게 높았다.
• 켄달 타우에서는 RMC가 0.3383 (±0.0117)을 기록하여 SMC(0.3031)와 CoFi-Rank(0.2993)를 앞섰다.
• Neurosynth 데이터셋에서 RMC는 훈련 데이터 크기가 변할수록 모든 순위 메트릭(NDCG, Precision, 스피어만, 켄달 타우)에서 표준 행렬 완성 기법을 일관되게 뛰어넘었다.
• RMC의 성능 향상은 특히 상위-k 순위 메트릭(NDCG@5, Precision@5)에서 두드러져, 가장 관련성이 높은 항목에서의 순위 품질 향상을 시사한다.