[논문 리뷰] An Attention-Based Deep Net for Learning to Rank

Baiyang Wang, Diego Klabjan|arXiv (Cornell University)|2017. 02. 20.

Advanced Image and Video Retrieval Techniques참고 문헌 21인용 수 10

한 줄 요약

이 논문은 쿼리와 검색 결과에 대해 이중 주의 메커니즘을 사용하여 다수의 임bedding(예: word2vec, CBOW, GLOVE)을 통합하는 주의 기반 딥 네트워크를 제안하며, 이는 영향력 있는 리스트와이즈 랭킹을 가능하게 한다. 이 모델은 이미지 검색 및 텍스트 쿼리 데이터셋에서 최신 기술 수준의 성능을 달성하며, AttRN-HL은 벤치마크 전반에서 가장 우수한 결과를 보였다.

ABSTRACT

In information retrieval, learning to rank constructs a machine-based ranking model which given a query, sorts the search results by their degree of relevance or importance to the query. Neural networks have been successfully applied to this problem, and in this paper, we propose an attention-based deep neural network which better incorporates different embeddings of the queries and search results with an attention-based mechanism. This model also applies a decoder mechanism to learn the ranks of the search results in a listwise fashion. The embeddings are trained with convolutional neural networks or the word2vec model. We demonstrate the performance of this model with image retrieval and text querying data sets.

연구 동기 및 목표

• CBOW, 스킵그램, GLOVE 등 다양한 단어 임베딩을 신경망 랭킹 모델에 통합함으로써 러닝 투 랭킹 성능을 향상시키는 것.
• 유일한 임베딩 모델의 한계를 해결하기 위해 관련성에 기반해 다양한 임베딩을 동적으로 가중치 부여하는 주의 메커니즘을 사용하는 것.
• 단일 순방향 프로세스에서 전체 결과 랭킹을 출력하는 디코더 메커니즘을 통해 리스트와이즈 랭킹을 가능하게 하는 것.
• 텍스트 및 이미지 검색을 포함한 다양한 검색 작업에서 모델의 효과성을 입증하는 것.
• 단일 임베딩이나 모델 아키텍처에 의존도를 줄임으로써 더 견고하고 정확한 랭킹 시스템을 제공하는 것.

제안 방법

• 쿼리와 검색 결과에 대해 별도의 주의 레이어를 적용하는 이중 주의 메커니즘을 사용하여 다양한 임베딩을 동적으로 가중치 부여한다.
• 학습 중 일관성을 유지하기 위해 고정된 사전 학습된 단어 임베딩(CBOW, 스킵그램, GLOVE)을 입력 특징으로 사용한다.
• 렐루 활성화 함수를 사용하는 다층 피드포워드 네트워크를 쿼리 및 문서 표현을 처리하는 데 적용한다.
• 최종 랭킹 목록을 리스트와이즈 방식으로 생성하는 디코더 메커니즘을 통합하여 NDCG 및 MAP 지표 최적화를 목표로 한다.
• 순환 신경망(RNN) 구조를 통해 계산된 주의 가중치를 활용해 임베딩을 통합함으로써 맥락 인식 특징 융합을 가능하게 한다.
• 쌍별 및 리스트와이즈 랭킹 목표를 사용한 지도 학습을 통해 모델을 校정하며, 확률적 경사 하강법을 사용해 랭킹 손실을 최소화한다.

실험 결과

연구 질문

• RQ1 주의 메커니즘이 정보 검색에서 랭킹 성능 향상에 기여하기 위해 다수의 사전 학습된 단어 임베딩을 효과적으로 통합할 수 있는가?
• RQ2 디코더 메커니즘을 통한 리스트와이즈 랭킹 접근 방식이 복잡한 검색 작업에서 전통적인 쌍별 또는 포인트와이즈 방법보다 우월한가?
• RQ3 쿼리와 결과에 대한 이중 주의 메커니즘이 단일 임베딩 모델 대비 특징 표현을 어떻게 향상시키는가?
• RQ4 제안된 모델은 텍스트 및 이미지 검색과 같은 다양한 검색 도메인에서 견고한가?
• RQ5 주의 메커니즘을 통한 다수의 임베딩 통합이 단일 임베딩 유형 사용 대비 모델의 분산을 줄이고 일반화 능력을 향상시키는가?

주요 결과

• 20 Newsgroups 데이터셋에서 AttRN-SM는 MAP 오차율 14.78%를 기록하여 OASIS-1(15.56%) 및 모든 SVM 및 LambdaMART 기준선을 능가했다.
• NDCG@3에서 AttRN-SM는 16.87%의 오차율을 기록하여 OASIS-1(17.83%) 및 RSVM-100k(34.62%)보다 유의미하게 낮아 랭킹 품질이 뛰어났다.
• 동일한 데이터셋에서 AttRN-HL는 MAP 오차율 14.79%, NDCG@3 오차율 16.93%로 두 번째로 높은 성능을 기록하여 다양한 지표에서 뛰어난 견고성을 보였다.
• 더 엄격한 지표인 슈퍼클래스 평가에서 AttRN-HL는 MAP 오차율 30.19%를 유지하며 OASIS-3(30.15%) 및 모든 SVM/LambdaMART 변종을 능가했다.
• 동일한 데이터에서 Ranking SVM 및 LambdaMART 기반 방법(예: RSVM-20k의 경우 35.87% MAP)에 비해 모델은 뚜렷한 우월성을 보였다.
• 세 데이터셋 전반에서 AttRN-HL는 가장 견고한 모델로 확인되어 실세계 응용에 권장되는 선택지로 지목되었다.