[논문 리뷰] Modeling Label Ambiguity for Neural List-Wise Learning to Rank

Rolf Jagerman, Julia Kiseleva외 1명|arXiv (Cornell University)|2017. 07. 24.

Machine Learning and Algorithms참고 문헌 14인용 수 6

한 줄 요약

이 논문은 라벨의 모호성을 플래켓-플루스 분포에서 샘플링함으로써 라벨 모호성을 모델링하는 신경망 기반 리스트와이즈 랭킹을 위한 새로운 손실 함수인 ListPL을 제안한다. 동일한 관련성 레이블을 가진 문서들이 상호 교환 가능하다는 사실을 고려함으로써 ListPL은 일반화 능력을 향상시켜 MSLR-WEB10K에서 ListNet과 ListMLE를 크게 앞서며, 각각 p-value가 0.00078과 0.00218이다.

ABSTRACT

List-wise learning to rank methods are considered to be the state-of-the-art. One of the major problems with these methods is that the ambiguous nature of relevance labels in learning to rank data is ignored. Ambiguity of relevance labels refers to the phenomenon that multiple documents may be assigned the same relevance label for a given query, so that no preference order should be learned for those documents. In this paper we propose a novel sampling technique for computing a list-wise loss that can take into account this ambiguity. We show the effectiveness of the proposed method by training a 3-layer deep neural network. We compare our new loss function to two strong baselines: ListNet and ListMLE. We show that our method generalizes better and significantly outperforms other methods on the validation and test sets.

연구 동기 및 목표

• 여러 문서가 동일한 관련성 레이블을 공유함으로써 상호 선호도 학습이 의미 없어지는 랭킹 학습 문제의 라벨 모호성 문제를 해결한다.
• 기존 리스트와이즈 방법들인 ListNet과 ListMLE가 모호성을 간과하거나 과도하게 단순화된 가정을 하는 데서 비롯되는 한계를 극복한다.
• 신경망 기반 리스트와이즈 모델의 학습 목표에 모호성을 통합하는 효율적이고 미분 가능한 샘플링 기법을 개발한다.
• 실제 랭킹 학습 데이터셋에서 노이즈 또는 모호한 레이블링에 대한 과적합을 방지함으로써 모델의 일반화 능력을 향상시킨다.
• 미래의 신경망 기반 리스트와이즈 랭킹 연구를 지원하기 위해 공개된 GPU 가속 구현을 제공한다.

제안 방법

• 라벨 모호성을 모델링하기 위해 문서 랭킹에 대한 플래켓-플루스 분포에서 샘플링하는 수정된 손실 함수인 ListPL을 제안한다.
• 플래켓-플루스 분포에서의 확률적 샘플링을 통해 각 쿼리에 대해 다양한 잠재적 랭킹을 생성함으로써 관련성 레이블의 모호성을 반영한다.
• 계산 효율성을 유지하기 위해 샘플링 기반 손실을 3층의 완전 연결 신경망에 통합한다.
• MSLR-WEB10K 데이터셋에서 ADAM 최적화 기법을 사용하여 학습률 10^-5, 총 1000 에포크로 모델을 최적화한다.
• 플래켓-플루스 분포의 로그우도를 활용하여 손실 함수가 미분 가능하고 backpropagation과 호환되도록 보장한다.
• Chainer라는 GPU 가속 기반 딥러닝 프레임워크를 사용하여 구현하고, 소스 코드를 MIT 라이선스 하에 공개한다.

실험 결과

연구 질문

• RQ1 리스트와이즈 신경망 기반 랭킹 학습 모델이 관련성 점수의 라벨 모호성을 효과적으로 고려할 수 있는가?
• RQ2 플래켓-플루스 분포에서 샘플링하는 방식이 기존 리스트와이즈 손실 함수에 비해 일반화 능력을 어떻게 향상시키는가?
• RQ3 모호성 모델링이 nDCG@10와 같은 표준 평가 지표에서 성능 향상에 기여하는가?
• RQ4 제안된 방법이 ListNet과 ListMLE와 같은 강력한 베이스라인을 능가하면서도 계산 효율성을 유지하는가?
• RQ5 표준 벤치마크의 검증 및 테스트 세트에서 성능 향상이 통계적으로 유의미한가?

주요 결과

• ListPL은 MSLR-WEB10K 테스트 세트에서 ListNet과 ListMLE를 크게 앞서며, 이중 양측 검정에서 각각 p-value가 0.00078과 0.00218이다.
• 성능 향상은 검증 및 테스트 세트에서 가장 두드러지게 나타나 ListPL이 베이스라인보다 더 잘 일반화된다는 것을 시사한다.
• ListNet과 ListMLE가 100 에포크 이후 성능이 저하되는 것에 비해, ListPL은 라벨 모호성에 과적합하지 않음을 확인할 수 있다.
• ListNet과 유사하게 학습 중 높은 성능를 유지하지만, unseen 데이터에 대한 일반화 능력에서 양자 모두를 능가한다.
• ReLU 활성화 함수를 사용한 3층의 완전 연결 네트워크가 최적의 성능를 달성하였으며, 더 깊은 네트워크에서는 성능 향상이 미미했다.
• ListPL의 소스 코드는 GitHub에 공개되어 있으며, MIT 라이선스 하에 배포되어 재현성과 향후 연구를 가능하게 한다.