[論文レビュー] Improving Deep Learning For Airbnb Search

Malay Haldar, Mustafa Abdool+7 more|arXiv (Cornell University)|Feb 10, 2020

Recommender Systems and Techniques参考文献 13被引用数 6

ひとこと要約

本論文では、3つのコアな改善を通じて、Airbnbの検索順位付けのためのディープラーニングを向上させるフレームワークを提示する。具体的には、クエリ-リストイング間の相互作用をより良くモデル化するためのアーキテクチャの最適化、ドロップアウト正則化を用いた位置情報の制御変数としての位置バイアス補正、新規リストイングのための強化されたコールドスタート対応である。このアプローチにより、オンラインA/Bテストで予約数が0.7%増加し、収益が1.8%上昇した。これは、研究文献からのモデルアーキテクチャの直接的複製ではなく、ユーザー主導のモデル反復によってより優れた結果が得られることを示している。

ABSTRACT

The application of deep learning to search ranking was one of the most impactful product improvements at Airbnb. But what comes next after you launch a deep learning model? In this paper we describe the journey beyond, discussing what we refer to as the ABCs of improving search: A for architecture, B for bias and C for cold start. For architecture, we describe a new ranking neural network, focusing on the process that evolved our existing DNN beyond a fully connected two layer network. On handling positional bias in ranking, we describe a novel approach that led to one of the most significant improvements in tackling inventory that the DNN historically found challenging. To solve cold start, we describe our perspective on the problem and changes we made to improve the treatment of new listings on the platform. We hope ranking teams transitioning to deep learning will find this a practical case study of how to iterate on DNNs.

研究の動機と目的

• 導入後の初期ディープニューラルネットワーク（DNN）モデルに見られる限界、特に価格を超えたユーザーの好みを捉えられていない点を是正する。
• 上位順位のリストイングに偏ったトレーニングデータに起因する位置バイアスが、順位付けの妥当性予測を歪めるのを軽減する。
• 新規リストイング（コールドスタート）の処理を、特徴表現とモデルのインダクティブバイアスの見直しによって改善する。
• 研究文献に依存するモデル反復戦略から、ユーザー中心で問題を先に考えるアプローチにシフトする。

提案手法

• クエリ-リストイング相互作用をアテンション機構とディープワイド構造を用いて明示的にモデル化する新しいDNNアーキテクチャを導入したが、シンプルなモデルに比べて性能向上が見られなかった。
• 順位付け関数における位置バイアスを不変要因（β）としてモデル化することで、位置バイアスを関連性予測から分離する位置ベースのバイアス補正を提案した。
• トレーニング時に位置特徴を0.15のドロップアウト率でランダムにマスキングすることで、モデルが関連性予測に位置情報を過剰に依存するのを正則化した。
• 2段階のNDCG評価を実施：位置を0に設定した場合（NDCG_rel）と位置を有効にした場合（NDCG_rel+pbias）の2つを用い、バイアス補正と関連性性能のバランスを取った。
• 関連性性能とバイアス補正のトレードオフ曲線を分析し、最適なドロップアウト率を0.15に決定した。
• ベースラインDNNと改善済みモデルを比較するオンラインA/Bテストにより、予約数と収益への影響を検証した。

実験結果

リサーチクエスチョン

• RQ1 標準的なアーキテクチャのアップグレードが失敗した場合、初期DNNデプロイメント以降にディープラーニングモデルをどのように改善できるか？
• RQ2 トレーニングデータにおける位置バイアスが関連性予測をどの程度歪めるのか、そしてモデル性能を低下させずにどのように是正できるか？
• RQ3 標準的なオフラインメトリクスでは捉えきれないモデルの欠陥を特定するために、ユーザー行動データはどのような役割を果たすか？
• RQ4 ディープラーニング順位付けシステムにおいて、新規Airbnbリストイングのコールドスタートパフォーマンスを体系的にどのように改善できるか？

主な発見

• スコア関数に位置を制御変数として導入することで、位置バイアスが低減され、順位付けの公平性が向上し、ユーザーの真の好みをより正確に反映できるようになった。
• ドロップアウト率0.15の位置ドロップアウトにより、位置バイアスを学習する必要性と、位置特徴への過剰依存を最小化するニーズの両立が達成された。
• オンラインA/Bテストでは、予約数が0.7%増加し、収益が1.8%上昇した。これは、歴史的バイアスの是正がユーザー満足度とビジネス成果の両方を向上させたことを示している。
• モデル改善により、ブティックホテルの予約数が1.1%増加した。これは、ニッチで高品質なリストイングをより適切に順位付けできるようになったことを示している。
• 本研究では、価格オフセット分布のようなユーザー行動データが、オフラインメトリクスでは見逃されがちな継続的バイアスを特定する上で極めて重要であることが明らかになった。
• 最も効果的な改善は、研究論文からの先進的アーキテクチャの複製ではなく、ユーザー中心で問題を先に考える反復的プロセスから生まれた。