[論文レビュー] Revenue, Relevance, Arbitrage and More: Joint Optimization Framework for Search Experiences in Two-Sided Marketplaces

Andrew Stanton, Akhila Ananthram+2 more|arXiv (Cornell University)|May 15, 2019

Consumer Market Behavior and Pricing参考文献 31被引用数 5

ひとこと要約

本稿では、Etsyのような二面市場において、収益、関連性、公平性（ジニ係数）、売り手インcentive指標を同時に最適化するための統合最適化フレームワークを提案する。市場レベルの指標を制約としてモデル化し、エンド・ツー・エンドでポリシー・ラーナーを訓練することで、段階的な手動チューニングに依存せずに、多様なビジネス目標を改善し、公平性と関連性において統計的に有意な向上を達成するとともに、NDCGおよびGMV性能を維持する。

ABSTRACT

Two-sided marketplaces such as eBay, Etsy and Taobao have two distinct groups of customers: buyers who use the platform to seek the most relevant and interesting item to purchase and sellers who view the same platform as a tool to reach out to their audience and grow their business. Additionally, platforms have their own objectives ranging from growing both buyer and seller user bases to revenue maximization. It is not difficult to see that it would be challenging to obtain a globally favorable outcome for all parties. Taking the search experience as an example, any interventions are likely to impact either buyers or sellers unfairly to course correct for a greater perceived need. In this paper, we address how a company-aligned search experience can be provided with competing business metrics that E-commerce companies typically tackle. As far as we know, this is a pioneering work to consider multiple different aspects of business indicators in two-sided marketplaces to optimize a search experience. We demonstrate that many problems are difficult or impossible to decompose down to credit assigned scores on individual documents, rendering traditional methods inadequate. Instead, we express market-level metrics as constraints and discuss to what degree multiple potentially conflicting metrics can be tuned to business needs. We further explore the use of policy learners in the form of Evolutionary Strategies to jointly optimize both group-level and market-level metrics simultaneously, side-stepping traditional cascading methods and manual interventions. We empirically evaluate the effectiveness of the proposed method on Etsy data and demonstrate its potential with insights.

研究の動機と目的

• 二面市場における検索体験を最適化する課題に取り組むこと。ここでは、買い手の関連性、売り手インcentive、プラットフォームの公平性がしばしば対立する。
• 従来のラーニング・トゥ・ランク手法が、ジニ係数やインcentive公平性といった複雑な市場レベル指標を分解できないという限界を克服すること。
• 複数の対立するビジネス指標を段階的なヒューリスティクスや手動介入に依存せずに、一度に最適化する統一フレームワークを構築すること。
• ポリシー学習による進化的戦略（Evolutionary Strategies）が、多様で競合するビジネスニーズを効果的にチューニングできることを示すこと。
• 実世界のEtsyデータを用いて手法を検証し、公平性と関連性において測定可能な向上を示すことと同時に、コアなランク付けパフォーマンスを維持すること。

提案手法

• フレームワークは、ジニ係数、インcentive公平性、収益といった市場レベル指標を、多目的最適化問題における制約として定式化する。
• 進化的戦略（ES）を用いて、関連性（NDCG）、公平性（ジニ）、インcentive整合性といった複数の目的を直接最適化するポリシー・ネットワークを訓練する。
• ポリシー・ネットワークは、確率的価値関数（SVFs）とグリーディ価値関数（GVFs）を用いて訓練され、前者はより優れた一般化性能と低い分散を示した。
• 異なる目的間のトレードオフをバランスするために重要度重み付けを用い、市場レベル指標のなめらかで段階的なチューニングを可能にする。
• ポイントワイズとグループレベル最適化を組み合わせたハイブリッドアプローチを採用し、個々の文書の関連性と市場全体の健全性の両方を同時に改善する。
• 従来の段階的アプローチを避けるために、複数の対立するビジネス目標を同時に満たす単一のポリシーを学習する。

実験結果

リサーチクエスチョン

• RQ1 ポイントワイズ損失関数に依存せずに、公平性（ジニ係数）や売り手インcentive整合性といった市場レベル指標を検索ランクで効果的に最適化できるか。
• RQ2 進化的戦略（ES）は、二面市場において関連性、収益、公平性といった対立する複数の目的をどの程度同時に最適化できるか。
• RQ3 市場レベル指標の最適化において、確率的価値関数（SVFs）と静的価値関数（static value functions）の一般化性能および安定性はどのように比較されるか。
• RQ4 提案されたフレームワークは、検索ランクシステムにおける手動チューニングや段階的介入の必要性をどの程度低減できるか。
• RQ5 異なる指標の重要度重み付けが、検索結果における公平性と関連性のトレードオフにどのように影響するか。

主な発見

• SG-ES-{0.17,0.17}バージョンは、テストセットにおいてNDCGで1.5%向上（0.652 vs. 0.642）、ジニ係数で1.4%向上（0.911 vs. 0.889）を達成し、MMR-LambdaMARTベースラインを上回った。
• 確率的ポリシー・バージョン（SG-ES）は、グリーディバージョンと比較してテスト分散を50%削減し、一般化性能と安定性に優れたことを示した。
• SG-ES-{0.17,0.17}設定では、インcentive公平性が14.5%向上（0.543 vs. 0.466）し、売り手インcentiveとの整合性が強化された。
• 重要度重み付けにより、市場レベル指標のなめらかで段階的なチューニングが可能となり、最適重み付け下でジニ係数が79.5（ベースライン）から91.1に向上した。
• SG-ESバージョンは、関連性（NDCG）および公平性（ジニ）の両面ですべてのベースラインを上回り、次に良いベースラインと比較してテストNDCGで1.2%向上、ジニ係数でも1.2%向上を達成した。
• 本手法は、ジニ係数やインcentive公平性といった市場レベル指標がポリシー学習によって信頼性高く影響可能であることを示し、手動またはヒューリスティックな介入への依存を低減できることを示した。