[논문 리뷰] Deep Architectures for Learning Context-dependent Ranking Functions

Karlson Pfannschmidt, Pritha Gupta외 1명|arXiv (Cornell University)|2018. 03. 15.

Data Management and Algorithms참고 문헌 38인용 수 5

한 줄 요약

이 논문은 객체 순서 매기기에서 이용 가능한 대안 집합에 따라 항목의 유용성이 달라지는 맥락 의존적 순서 매기기 함수를 학습하기 위한 두 가지 딥 뉴럴 네트워크 아키텍처인 FETA-Net과 FATE-Net을 제안한다. 맥락을 먼저 항목을 평가한 다음 집계하는 방식(FETA) 또는 먼저 맥락을 집계한 다음 평가하는 방식(FATE)으로 모델링함으로써, 기존의 맥락 무시 모델보다 우수한 성능을 보이며, 선형 모델과 유용성 기반 모델이 실패하는 시뮬레이션 데이터셋에서 90% 이상의 0/1 순서 매기기 정확도를 달성한다.

ABSTRACT

Object ranking is an important problem in the realm of preference learning. On the basis of training data in the form of a set of rankings of objects, which are typically represented as feature vectors, the goal is to learn a ranking function that predicts a linear order of any new set of objects. Current approaches commonly focus on ranking by scoring, i.e., on learning an underlying latent utility function that seeks to capture the inherent utility of each object. These approaches, however, are not able to take possible effects of context-dependence into account, where context-dependence means that the utility or usefulness of an object may also depend on what other objects are available as alternatives. In this paper, we formalize the problem of context-dependent ranking and present two general approaches based on two natural representations of context-dependent ranking functions. Both approaches are instantiated by means of appropriate neural network architectures, which are evaluated on suitable benchmark task.

연구 동기 및 목표

• 항목의 유용성이 이용 가능한 대안 집합에 따라 달라지는 맥락 의존적 순서 매기기를 학습 문제로 체계화하기.
• 순서 매기기 함수의 맥락 효과를 모델링하는 두 가지 일반적인 신경망 아키텍처인 FETA-Net과 FATE-Net을 개발하기.
• 다양한 미분 가능한 순서 매기기 손실 함수를 사용하여 이러한 모델의 엔드 투 엔드 훈련을 가능하게 하기.
• 비선형 순서 매기기 작업에서 맥락 인지 모델이 맥락을 무시하는 기준 모델보다 우수한 성능을 보임을 경험적으로 검증하기.

제안 방법

• FETA-Net은 먼저 평가한 다음 집계하는 방식을 사용하며, 항목 간의 쌍별 비교를 계산하고 이를 미분 가능한 순서 매기기 레이어를 통해 집계한다.
• FATE-Net은 먼저 집계한 다음 평가하는 전략을 사용하며, 객체 임베딩을 평균하여 맥락 벡터를 형성하고, 이를 바탕으로 각 항목의 점수를 매긴다.
• 두 아키텍처 모두 스피어만의 ρ와 정규화된 할당 누적 수익률(nDCG)과 같은 미분 가능한 순서 매기기 손실 함수를 사용해 엔드 투 엔드로 훈련된다.
• 복잡한 비선형 상호작용을 포착하기 위해 피드포워드 및 잔여망 구성 요소를 사용하여 모델을 구현한다.
• FETA 접근법은 (N-1)-차수 근사의 극한에서 임의의 순서 매기기 함수를 모델링할 수 있을 정도로 표현력이 충분하다는 이론적 증명이 있다.
• FATE 접근법은 쿼리에 포함된 항목 집합에서 전역 맥락 임베딩을 계산하여 맥락 인지 표현을 활용한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 항목의 유용성이 이용 가능한 대안 집합에 따라 달라지는 맥락 의존적 선호도를 효과적으로 모델링할 수 있는가?
• RQ2 먼저 평가한 다음 집계하는(FETA) 방식과 먼저 집계한 다음 평가하는(FATE) 방식의 맥락 효과 모델링 능력은 어떻게 비교되는가?
• RQ3 FETA-Net과 FATE-Net은 비선형 순서 매기기 작업에서 기존의 맥락을 무시하는 순서 매기기 모델을 어느 정도 능가하는가?
• RQ4 FETA와 FATE 표현의 표현 능력은 순서 매기기 맥락에서 항목 간의 고차원 상호작용을 포착하는 데 얼마나 효과적인가?
• RQ5 이 아키텍처들은 다양한 순서 매기기 크기와 실세계 순서 매기기 문제에 일반화될 수 있는가?

주요 결과

• 메도이드 및 히퍼볼륨 시뮬레이션 데이터셋에서 FATE-Net은 92.0% ± 0.3%의 0/1 순서 매기기 정확도를 기록했으며, RankNet과 ListNet은 단지 68.3% ± 0.1%에 그쳤다.
• ERR와 RankSVM은 이러한 데이터셋에서 완전히 실패하여 스피어만 상관계수 값이 0이 되었으며, 이는 비선형성이 매우 높은 문제에 선형 모델링 가정을 적용했기 때문이다.
• 상대 깊이 추정 데이터셋에서 FATE-Net은 81.4%의 0/1 순서 매기기 정확도를 기록했으며, RankBoost(80.6%) 및 기타 기준 모델을 약간 앞섰다.
• FETA-Net은 상대 깊이 데이터셋에서 스피어만 상관계수 0.729와 0/1 순서 매기기 정확도 81.3%를 기록하여 실세계 데이터에서 강력한 성능을 보였다.
• 결과는 FATE-Net의 맥락 인지 집계 메커니즘이 FETA-Net의 쌍별 분해 방식보다 더 높은 차원의 상호작용을 더 잘 포착한다는 것을 시사한다.
• 이 연구는 기존의 유용성 기반 모델이 실패하는 비선형적이고 맥락 의존적인 선호도를 효과적으로 모델링할 수 있는 맥락 인지 딥 러닝 모델의 가능성을 입증한다.