[논문 리뷰] Improving Deep Learning For Airbnb Search

Malay Haldar, Mustafa Abdool외 7명|arXiv (Cornell University)|2020. 02. 10.

Recommender Systems and Techniques참고 문헌 13인용 수 6

한 줄 요약

이 논문은 세 가지 핵심 개선 사항을 통해 Airbnb 검색 순위의 딥러닝 성능을 향상시키는 프레임워크를 제시한다: 질의-목록 간 상호작용을 더 잘 모델링하기 위한 아키텍처 정교화, 드롭아웃 정규화를 활용한 위치를 제어 변수로 사용하는 새로운 위치 편향 보정, 그리고 신규 목록에 대한 개선된 콜드 스타트 대응 방식. 이 방법은 온라인 A/B 테스트에서 예약 수 0.7% 증가와 수익 1.8% 증가를 이끌어내어, 문헌에서 직접 모델 아키텍처를 복사하는 것보다 사용자 중심의 모델 반복 개선 방식이 더 강력한 성과를 낸다는 것을 입증한다.

ABSTRACT

The application of deep learning to search ranking was one of the most impactful product improvements at Airbnb. But what comes next after you launch a deep learning model? In this paper we describe the journey beyond, discussing what we refer to as the ABCs of improving search: A for architecture, B for bias and C for cold start. For architecture, we describe a new ranking neural network, focusing on the process that evolved our existing DNN beyond a fully connected two layer network. On handling positional bias in ranking, we describe a novel approach that led to one of the most significant improvements in tackling inventory that the DNN historically found challenging. To solve cold start, we describe our perspective on the problem and changes we made to improve the treatment of new listings on the platform. We hope ranking teams transitioning to deep learning will find this a practical case study of how to iterate on DNNs.

연구 동기 및 목표

• 배포 후 초기 딥 네트워크(DNN) 모델의 한계를 해결하기 위해, 특히 가격 외의 사용자 선호도를 더 잘 포착할 수 있도록 하는 것.
• 상위 순위 목록에 대한 훈련 데이터 편향으로 인해 순위 예측이 왜곡되는 위치 편향을 줄이는 것.
• 신규 목록(콜드 스타트)에 대한 대응을 향상시키기 위해 특징 표현과 모델의 인덕티브 바이어스를 개선하는 것.
• 문헌 중심의 모델 반복 전략에서 사용자 중심, 문제 중심의 접근 방식으로의 전환을 위한 것.

제안 방법

• 질의-목록 간 상호작용을 약자 기반 주의 메커니즘과 딥와이드 구조를 활용해 명시적으로 모델링하는 새로운 DNN 아키텍처를 도입했지만, 이는 더 단순한 모델에 비해 성능 향상이 없음을 발견.
• 순위 점수 함수에 위치 편향을 불변 요소(β)로 모델링하여, 이를 관련성 예측에서 분리함으로써 위치 기반 편향 보정을 제안.
• 훈련 중에 위치 특징을 0.15 드롭아웃 비율로 무작위로 마스킹함으로써, 모델이 관련성 예측에 위치 특징에 과도하게 의존하지 않도록 정규화.
• 두 단계의 NDCG 평가를 적용: 위치를 0으로 설정한 경우(NDCG_rel)와 위치 기능이 활성화된 경우(NDCG_rel+pbias)로, 편향 보정과 관련성 성능 간 균형을 맞춤.
• 관련성 성능와 편향 보정 간 트레이드오프 곡선을 분석하여 최적의 드롭아웃 비율을 0.15로 결정.
• 기본 DNN 모델과 개선된 모델을 비교하는 온라인 A/B 테스트를 통해 방법의 유효성을 검증하고, 예약 수와 수익에 미치는 영향을 측정함.

실험 결과

연구 질문

• RQ1 표준 아키텍처 업그레이드가 실패할 경우, 초기 DNN 배포 후 딥러닝 모델을 어떻게 향상시킬 수 있는가?
• RQ2 훈련 데이터의 위치 편향이 관련성 예측을 얼마나 심각하게 왜곡하는가? 그리고 성능 저하 없이 이를 어떻게 보정할 수 있는가?
• RQ3 표준 오프라인 메트릭이 포착하지 못하는 모델의 한계를 밝히는 데 사용자 행동 데이터는 어떤 역할을 하는가?
• RQ4 딥러닝 순위 시스템에서 신규 Airbnb 목록의 콜드 스타트 성능을 체계적으로 어떻게 향상시킬 수 있는가?

주요 결과

• 점수 함수에 위치를 제어 변수로 도입함으로써 위치 편향이 감소하고 순위의 공정성이 향상되어, 사용자가 진정으로 선호하는 바를 더 잘 반영할 수 있게 되었다.
• 0.15의 드롭아웃 비율로 위치 드롭아웃을 적용함으로써, 위치 편향을 학습할 필요성과 관련성 예측에 위치 특징에 과도하게 의존하는 것을 동시에 최소화하는 데 성공했다.
• 온라인 A/B 테스트 결과, 예약 수가 0.7% 증가하고 수익이 1.8% 증가하여, 이전의 편향을 보정함으로써 사용자 만족도와 비즈니스 성과가 모두 향상됨을 입증했다.
• 모델 개선으로 베이지니어 호텔의 예약 수가 1.1% 증가하여, 특화된 고품질 목록을 더 잘 순위 매길 수 있는 능력이 향상됨을 시사했다.
• 오프라인 메트릭이 간과할 수 있는 지속적인 모델 편향을 밝히는 데, 가격 오프셋 분포와 같은 사용자 행동 데이터가 핵심적인 역할을 한다는 점을 입증했다.
• 가장 효과적인 개선 사항들은 연구 문헌에서 유래한 고급 아키텍처를 그대로 복사하는 데서 비롯된 것이 아니라, 사용자 중심, 문제 중심의 반복적 프로세스에서 유래했다.