[논문 리뷰] Online Learning to Rank with List-level Feedback for Image Filtering

Chang Li, Artem Grotov외 2명|arXiv (Cornell University)|2018. 12. 12.

Domain Adaptation and Few-Shot Learning참고 문헌 36인용 수 4

한 줄 요약

이 논문은 항목 수준의 피드백이 아닌 리스트 수준의 피드백만을 사용하여 이미지 필터링을 위한 두 가지 온라인 랭킹 학습 방법—PGLearn와 RegLearn—을 제안한다. RegLearn는 리스트 수준 피드백을 예측하고 관련성 점수를 통해 역전파를 수행하는 회귀 기반 방법으로, 특히 리스트 크기가 클수록 PGLearn를 능가하며, 이상적 또는 낮은 노이즈 피드백으로부터 할인 가중치를 효과적으로 학습한다.

ABSTRACT

Online learning to rank (OLTR) via implicit feedback has been extensively studied for document retrieval in cases where the feedback is available at the level of individual items. To learn from item-level feedback, the current algorithms require certain assumptions about user behavior. In this paper, we study a more general setup: OLTR with list-level feedback, where the feedback is provided only at the level of an entire ranked list. We propose two methods that allow online learning to rank in this setup. The first method, PGLearn, uses a ranking model to generate policies and optimizes it online using policy gradients. The second method, RegLearn, learns to combine individual document relevance scores by directly predicting the observed list-level feedback through regression. We evaluate the proposed methods on the image filtering task, in which deep neural networks (DNNs) are used to rank images in response to a set of standing queries. We show that PGLearn does not perform well in OLTR with list-level feedback. RegLearn, instead, shows good performance in both online and offline metrics.

연구 동기 및 목표

• 항목 수준의 피드백이 아닌 리스트 수준의 피드백만 제공될 때 온라인 랭킹 학습(OLTR)이 이미지 필터링에 어떻게 적용될 수 있는지 도전 과제를 해결하기 위해.
• 기존 OLTR에서 흔히 사용되는 텍스트 특징에 의존하지 않고 픽셀 기반 특징을 사용하여 딥 네URAL 네트워크를 활용해 학습할 수 있는 방법을 개발하기 위해.
• 특히 높은 피드백 노이즈 또는 제한된 사용자 상호작용 데이터가 존재하는 상황에서 리스트 수준 피드백 하에 OLTR 방법의 효과성을 평가하기 위해.
• 이미지 랭킹에서 정책 그래디언트 기반(PGLearn)과 회귀 기반(RegLearn) 접근법의 온라인 및 오프라인 메트릭에서의 성능을 비교하기 위해.

제안 방법

• PGLearn는 정책 그래디언트 접근법을 사용하여 순서가 지정된 리스트를 행동으로 모델링하고, 강화 학습을 통해 리스트 수준 피드백에 기반해 랭킹 정책을 최적화한다.
• RegLearn는 개별 문서의 관련성 점수를 조합하여 리스트 수준 피드백(예: 클릭률 또는 nDCG)을 직접 예측하기 위해 회귀 헤드를 사용한다.
• 두 방법 모두 이미지 특징을 처리하고 관련성 점수를 생성하기 위해 딥 네URAL 네트워크를 기반으로 한 랭킹 모델을 사용한다.
• RegLearn는 예측된 리스트 수준 피드백과 관측된 피드백 간의 차이를 기반으로 역전파를 통해 랭킹 모델을 업데이트한다.
• 이러한 방법들은 다양한 설정(이상적(nDCG@k) 및 노이즈 있는(CTR@k)) 하에서 시뮬레이션된 피드백을 사용하여 MSCOCO 데이터셋을 기반으로 평가된다.
• 온라인 학습 중 탐색과 이용의 균형을 이루기 위해 ε-그리디 전략(ε=0.1)이 사용된다.

실험 결과

연구 질문

• RQ1 항목 수준의 피드백이 아닌 리스트 수준의 피드백만 존재할 때 온라인 랭킹 학습이 이미지 필터링에 효과적으로 적용될 수 있는가?
• RQ2 리스트 크기가 커질수록 리스트 수준 피드백에서 PGLearn와 RegLearn의 성능은 어떻게 비교되는가?
• RQ3 RegLearn는 리스트 수준 피드백으로부터 할인 가중치(nDCG용 등)와 검토 확률(클릭 모델용 등)을 정확히 학습할 수 있는가?
• RQ4 피드백 노이즈는 RegLearn가 신뢰할 수 있는 랭킹 모델을 학습하는 능력에 어떤 영향을 미치는가?
• RQ5 사용자 행동에 대한 사전 지식(예: 검토 확률)은 RegLearn의 성능 향상에 기여하는가?

주요 결과

• ε=0.1일 때 RegLearn는 이상적 설정과 위치 기반 클릭 설정에서 각각 평균 nDCG@5가 0.67±0.01과 0.66±0.00을 기록하여 뛰어난 온라인 성능를 보였다.
• 리스트 크기가 2를 초과하면 PGLearn는 정책 그래디언트 최적화를 위해 설계되었음에도 불구하고 일반화에 실패하여 성능이 열등하다.
• 이상적 nDCG 피드백 하에서 RegLearn는 지표에 가까운 할인 가중치를 학습했으며, 유클리드 거리는 0.079로 정확한 랭킹 품질 모델링을 나타냈다.
• 노이즈 있는 클릭 피드백 하에서는 RegLearn의 성능이 저하되었으며, 지표와의 유클리드 거리는 이상적 설정일 때 0.231, 위치 기반 설정일 때 0.372였고, 가장 노이즈가 많은(엔터테인먼트) 설정에서는 완전히 실패했다.
• 사용자 검토 확률에 대한 사전 지식을 활용한 OracleLearn는 일관되게 성능 향상을 보였으며, 이는 사용자 행동 사전 지식을 통합할 경우 학습 성능 향상이 가능함을 시사한다.
• 순수 탐색(ε=1)은 RegLearn의 효과적인 학습을 방해했으며, 이는 균형 잡힌 탐색(ε=0.1)이 성공적인 학습을 위해 필수적임을 나타낸다.