[논문 리뷰] Online Learning with Preference Feedback

Pannagadatta K. Shivaswamy, Thorsten Joachims|arXiv (Cornell University)|2011. 11. 03.

Advanced Bandit Algorithms Research참고 문헌 9인용 수 11

한 줄 요약

이 논문은 사용자 선호도(예: 클릭 또는 선택)를 기반으로 한 편재적 피드백을 학습하는 온라인 학습 프레임워크를 제안한다. 선호도 퍼셉트론 알고리즘을 도입하여 제시된 항목과 선호된 항목 간의 쌍별 비교를 바탕으로 모델 가중치를 갱신하며, $ \alpha $-정보성 피드백 하에서 $ O(1/\text{sqrt}(T)) $의 리그레트 경계를 확보하여 웹 검색 순위 매기기 작업에서 뛰어난 성능을 보인다.

ABSTRACT

We propose a new online learning model for learning with preference feedback. The model is especially suited for applications like web search and recommender systems, where preference data is readily available from implicit user feedback (e.g. clicks). In particular, at each time step a potentially structured object (e.g. a ranking) is presented to the user in response to a context (e.g. query), providing him or her with some unobserved amount of utility. As feedback the algorithm receives an improved object that would have provided higher utility. We propose a learning algorithm with provable regret bounds for this online learning setting and demonstrate its effectiveness on a web-search application. The new learning model also applies to many other interactive learning problems and admits several interesting extensions.

연구 동기 및 목표

• 웹 검색 및 추천 엔진과 같은 상호작용 시스템에서 암시적 사용자 피드백을 학습하는 데 도전하는 데 목적을 두며.
• 완전한 유틸리티 신호가 아닌 선호도 비교 형태의 피드백을 갖는 온라인 학습을 모델링하는 데 목적을 두며.
• 현실적인 피드백 가정 하에서 이론적 리그레트 보장을 갖는 알고리즘을 개발하는 데 목적을 두며.
• 실제 웹 검색 순위 매기기 작업에서 선호도 기반 피드백을 사용하여 방법의 실증적 검증을 수행하는 데 목적을 두며.

제안 방법

• 알고리즘은 가중치 벡터 $ \mathbf{w}_t $ 를 유지하며, 예측 유틸리티 $ \mathbf{w}_t^\top \phi(\mathbf{x}_t, \mathbf{y}) $ 가 최대가 되는 행동 $ \mathbf{y}_t $ 를 선택한다.
• 선호되는 항목 $ \mathbf{\bar{y}}_t $ 를 수신한 후, 모델은 $ \mathbf{w}_{t+1} = \mathbf{w}_t + \phi(\mathbf{x}_t, \mathbf{\bar{y}}_t) - \phi(\mathbf{x}_t, \mathbf{y}_t) $ 로 갱신한다.
• 선형 유틸리티 함수 $ U(\mathbf{x}, \mathbf{y}) = \mathbf{w}^{*\top} \phi(\mathbf{x}, \mathbf{y}) $ 를 가정하며, 특징 노름이 유한함 $ \|\phi(\mathbf{x}, \mathbf{y})\| \leq R $ 을 가정한다.
• 피드백은 $ \alpha $-정보성으로 모델링되며, 이는 피드백 유틸리티가 최적 유틸리티 갭의 분수 $ \alpha $ 내에 있음을 의미하며, 노이즈는 $ \xi_t $ 로 기록된다.
• 알고리즘은 선형 유틸리티 모델 기반의 합성 피드백과 웹 검색 데이터셋의 실제 관련성 레이블을 사용하여 평가된다.
• 리그레트는 최적 유틸리티와 제시된 유틸리티의 평균 차이로 측정되며, 보조 지표로 DCG* 리그레트가 사용된다.

실험 결과

연구 질문

• RQ1 암시적 피드백(예: 클릭)만 존재하는 환경에서 온라인 학습을 효과적으로 어떻게 적응시킬 수 있는가?
• RQ2 쌍별 피드백만 존재하는 온라인 선호도 학습에서 하위선형 리그레트를 달성할 수 있는가?
• RQ3 피드백의 품질을 $ \alpha $ 로 측정했을 때, 학습 성능과 리그레트 경계에 어떤 영향을 미치는가?
• RQ4 기본적인 방법인 랭킹 SVM과 비교했을 때, 제안된 선호도 퍼셉트론은 리그레트와 계산 비용 측면에서 어떻게 다른가?

주요 결과

• 선호도 퍼셉트론은 $ \text{REGRET}_T \leq \frac{1}{\alpha T} \sum_{t=1}^T \xi_t + \frac{2R\|\mathbf{w}^*\|}{\alpha \sqrt{T}} $ 의 리그레트 경계를 확보하며, 노이즈가 없는 피드백 하에서 $ O(1/\sqrt{T}) $ 속도로 리그레트가 0으로 수렴한다.
• $ \alpha $-정보성 피드백 실험에서 $ \alpha = 1.0 $ 일 때 리그레트가 $ \alpha = 0.1 $ 보다 유의미하게 낮았지만, 일부 경우에서 예상보다 강한 피드백이 존재해 성능 격차가 예상보다 작았다.
• 실제 관련성 레이블을 피드백으로 사용했을 때, 주어진 평균 리그레트가 주기적으로 재학습된 랭킹 SVM 보다 낮게 나타났다. 이는 후자가 강력한 베이스라인임을 감안할 때 놀라운 성과였다.
• 선호도 퍼셉트론은 약 30분 내로 실행되었고, SVM 기준은 약 20시간이 소요되어 주요 계산적 이점이 뚜렷했다.
• 실제 관련성 피드백 하에서 DCG* 리그레트는 0이 아닌 값으로 수렴했으며, 이는 인간의 관련성 평가에 내재된 노이즈와 비선형성 때문이었다.