[논문 리뷰] SortNet: Learning To Rank By a Neural-Based Sorting Algorithm

Leonardo Rigutini, Tiziano Papini외 2명|arXiv (Cornell University)|2023. 11. 03.

Multi-Criteria Decision Making인용 수 12

한 줄 요약

SortNet은 객체를 랭킹하기 위한 쌍 비교기(pairwise comparator)로 신경망을 학습시키고 이를 정렬 프로세스에 통합하며, 정보 쌍을 선택하는 점진적, 능동 학습 유사한 절차를 사용해 학습하고, LETOR TD2003/TD2004 데이터셋에서 경쟁력 있는 결과를 보이며, 특히 TD2004에서 두드러진 성과를 보인다.

ABSTRACT

The problem of relevance ranking consists of sorting a set of objects with respect to a given criterion. Since users may prefer different relevance criteria, the ranking algorithms should be adaptable to the user needs. Two main approaches exist in literature for the task of learning to rank: 1) a score function, learned by examples, which evaluates the properties of each object yielding an absolute relevance value that can be used to order the objects or 2) a pairwise approach, where a "preference function" is learned using pairs of objects to define which one has to be ranked first. In this paper, we present SortNet, an adaptive ranking algorithm which orders objects using a neural network as a comparator. The neural network training set provides examples of the desired ordering between pairs of items and it is constructed by an iterative procedure which, at each iteration, adds the most informative training examples. Moreover, the comparator adopts a connectionist architecture that is particularly suited for implementing a preference function. We also prove that such an architecture has the universal approximation property and can implement a wide class of functions. Finally, the proposed algorithm is evaluated on the LETOR dataset showing promising performances in comparison with other state of the art algorithms.

연구 동기 및 목표

• 랭킹 학습을 자극하는 목표: 사용자 선호가 절대 점수가 아니라 랭킹 순서를 이끈다.
• 쌍간 선호를 학습할 수 있고 대칭성 제약을 갖는 신경망 기반 비교기를 개발한다.
• 랭킹 품질을 개선하기 위해 정보가 풍부한 훈련 쌍을 선택적으로 추가하는 점진적 학습 절차를 제안한다.
• LETOR TD2003/TD2004 벤치마크에서 접근 방식을 Demonstrate하고 최첨단 방법과 비교한다.

제안 방법

• 두 출력 N_succ와 N_prec를 갖는 신경 비교기 N을 도입하고 입력으로 두 객체 x와 y의 연결(concatenation)을 취한다.
• 숨겨진 유닛과 출력 전반에 걸친 이중 가중치 공유 아키텍처를 통해 N_succ(x,y) = N_prec(y,x)로 대칭성을 강제한다.
• 가중치 공유 비교기가 제약된 함수 클래스 내에서 보편 근사 특성을 보존함을 보인다.
• 쌍별 타깃 [1 0]은 x가 y를 따라가고 [0 1]은 x가 y를 선호할 때 경사 하강법으로 squared error 목적을 최소화하며 비교기를 학습시킨다.
• 정렬 알고리즘 내부에 비교기를 배치하여 기대 시간 복잡도 O(n log n)의 랭킹을 생성한다.
• 각 이터레이션에서 학습/검증 세트를 정렬하고 잘못 분류된 쌍을 수집하여 학습 데이터를 확충하는 점진적, 반복적 학습 절차를 채택한다(능동학습과 유사).
• 검증 데이터에서 RankQuality 지표(MAP, P@k, NDCG)를 사용하여 이터레이션 간 최적 모델을 선택한다.

실험 결과

연구 질문

• RQ1 신경망 기반 비교기가 랭킹 작업에 대한 신뢰할 수 있는 쌍 선호 함수를 학습할 수 있는가?
• RQ2 가중치 공유를 통한 대칭성 도입이 제약된 랭킹 함수 클래스 내에서 보편 근사화를 가능하게 하는가?
• RQ3 정보 쌍을 선택적으로 추가하는 점진적 학습 전략이 표준 LETOR 벤치마크에서 랭킹 품질을 개선하는가?
• RQ4 SortNet은 LETOR TD2003/TD2004 데이터셋에서 확립된 학습-투-랭크 방법과 어떻게 비교되는가?

주요 결과

• TD2003에서 10개의 숨겨진 유닛을 사용하고 TD2004에서 20개의 숨겨진 유닛을 사용한 SortNet은 AdaRank, RankBoost, RankSVM, FRank, ListNet과 비교하여 경쟁력 있는 MAP 및 P@10 결과를 보인다.
• TD2004 데이터셋에서 SortNet은 실험에 제시된 지표들(NDCG@1..10, MAP, P@10)에서 경쟁 방법들을 명확하게 능가한다.
• TD2003 데이터셋에서 SortNet은 AdaRank 및 RankBoost와 비교할 만한 결과를 얻으며, 검증 세트와 테스트 세트 간의 데이터셋 분포 차이에 기인한 일부 변동성이 있다.
• 점진적 학습 절차는 최대 반복 이전에 수렴하는 경향이 있어 정보가 풍부한 훈련 쌍의 효과적인 선택을 시사한다.