[논문 리뷰] Modeling Document Interactions for Learning to Rank with Regularized Self-Attention

Shuo Sun, Kevin Duh|arXiv (Cornell University)|2020. 05. 08.

Topic Modeling참고 문헌 30인용 수 4

한 줄 요약

이 논문은 랭킹 성능을 향상시키기 위해 문서 집합 내의 문서 간 상호작용을 모델링하는 정규화된 자기주의 메커니즘을 제안한다. 표준 신경망 랭킹 모델보다 우수한 성능을 기록하며, 주의 분포에 대상으로 정규화를 도입함으로써 문서 간 더 의미 있는 상호작용을 학습한다. LETOR 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Learning to rank is an important task that has been successfully deployed in many real-world information retrieval systems. Most existing methods compute relevance judgments of documents independently, without holistically considering the entire set of competing documents. In this paper, we explore modeling documents interactions with self-attention based neural networks. Although self-attention networks have achieved state-of-the-art results in many NLP tasks, we find empirically that self-attention provides little benefit over baseline neural learning to rank architecture. To improve the learning of self-attention weights, We propose simple yet effective regularization terms designed to model interactions between documents. Evaluations on publicly available Learning to Rank (LETOR) datasets show that training self-attention network with our proposed regularization terms can significantly outperform existing learning to rank methods.

연구 동기 및 목표

• 기존 랭킹 모델이 경쟁 문서를 고려하지 않고 독립적으로 관련도 점수를 계산하는 한계를 해결하기 위해.
• 자기주의 메커니즘이 랭킹 작업에서 문서 간 상호작용을 효과적으로 모델링할 수 있는지 조사하기 위해.
• 문서 간 의미 있는 주의 패턴을 장려하는 정규화 항을 도입하여 자기주의의 랭킹 성능을 향상시키기 위해.
• 전체 문서 세트의 맥락을 활용하여 보다 나은 관련도 점수를 산출하는 통합형 엔드 투 엔드 랭킹 모델을 개발하기 위해.

제안 방법

• 모델은 리스트넷 기반의 신경망 아키텍처를 사용하며, 각 벡터가 쿼리-문서 쌍에 대해 특징 함수 φ를 통해 유도된 문서 특징 벡터의 집합을 입력으로 받는다.
• 자기주의 레이어는 각 문서의 쿼리, 키, 밸류 표현을 계산하여 전체 문서 집합 내에서 문서 간 관계를 주의 분포를 통해 포착한다.
• 손실 함수에 새로운 정규화 항이 도입되어 주의 분포를 제약함으로써, 정보가 없는 또는 균일한 주의 패턴을 방지하고 더 의미 있는 문서 간 상호작용을 장려한다.
• 정규화는 주의 행렬이 균일성에서 벗어남의 가중합으로 수식화되며, 주의가 관련 있는 문서 쌍에 집중하도록 유도한다.
• 모델는 추가 정규화를 포함한 대체 리스트와이즈 손실(예측된 최상위 확률 분포와 진정된 분포 간 교차 엔트로피)을 사용하여 훈련된다.
• 추론 단계에서는 전체 문서 세트 맥락을 활용하여 모든 문서의 관련도 점수를 동시에 계산하고, 예측된 점수에 기반해 랭킹한다.

실험 결과

연구 질문

• RQ1 표준 신경망 모델이 달성하는 것보다 자기주의 메커니즘이 랭킹 작업에서 문서 간 상호작용을 효과적으로 모델링할 수 있는가?
• RQ2 자기주의는 상호작용 모델링의 이론적 능력이 있음에도 불구하고, 표준 벤치마크에서 성능 향상이 이루어지지 않는 이유는 무엇인가?
• RQ3 의미 있는 문서 간 상호작용을 학습하도록 유도하기 위해 정규화는 어떻게 설계할 수 있는가?
• RQ4 정규화된 자기주의를 통해 문서 세트 맥락을 통합하면 NDCG 및 MAP와 같은 표준 정보 검색 메트릭에서 측정 가능한 향상이 이루어지는가?

주요 결과

• 제안된 정규화된 자기주의 모델은 Yahoo, MSLR-WEB10K, Istella LETOR 데이터셋에서 표준 ListNet 및 기타 강력한 베이스라인을 뛰어넘는 성능을 기록한다.
• 실험 분석 결과, 정규화되지 않은 자기주의는 주의 분포가 거의 균일한 것으로 나타나 상호작용 모델링 능력이 떨어지는 것으로 확인되었다.
• 정규화 항은 주의 균일성을 효과적으로 감소시키고, 관련 문서 쌍을 더 잘 구분할 수 있도록 모델의 능력을 향상시켰다.
• 모델는 세 가지 벤치마크 데이터셋에서 모두 최신 기술 수준의 성능을 달성하여, 정규화된 주의를 통한 문서 세트 맥락 통합의 효과성을 입증했다.
• NDCG 및 MAP를 포함한 여러 평가 지표에서 일관된 향상이 관찰되어 종합적인 문서 상호작용 모델링의 이점이 확인되었다.