[論文レビュー] Rethinking Multi-objective Ranking Ensemble in Recommender System: From Score Fusion to Rank Consistency

Boyang Xia, Zhou Yu+6 more|arXiv (Cornell University)|Jan 6, 2026

Recommender Systems and Techniques被引用数 0

ひとこと要約

HarmonRank introduces a ranking-aligned, two-step multi-objective ensemble that optimizes differentiable AUC and aligns objectives via self-attention and personalization, achieving significant offline gains and online improvements in live-streaming e-commerce.

ABSTRACT

The industrial recommender systems always pursue more than one business goals. The inherent intensions between objectives pose significant challenges for ranking stage. A popular solution is to build a multi-objective ensemble (ME) model to integrate multi-objective predictions into a unified score. Although there have been some exploratory efforts, few work has yet been able to systematically delineate the core requirements of ME problem. We rethink ME problem from two perspectives. From the perspective of each individual objective, to achieve its maximum value the scores should be as consistent as possible with the ranks of its labels. From the perspective of entire set of objectives, an overall optimum can be achieved only when the scores align with the commonality shared by the majority of objectives. However, none of existing methods can meet these two requirements. To fill this gap, we propose a novel multi-objective ensemble framework HarmonRank to fulfill both requirements. For rank consistency, we formulate rank consistency (AUC) metric as a rank-sum problem and make the model optimized towards rank consistency in an end-to-end differentiable manner. For commonality modeling, we change the original relation-agnostic ensemble paradigm to a relation-aware one. Extensive offline experimental results on two industrial datasets and online experiments demonstrate that our approach significantly outperforms existing state-of-the-art methods. Besides, our method exhibits superior robustness to label skew situations which is common in industrial scenarios. The proposed method has been fully deployed in Kuaishou's live-streaming e-commerce recommendation platform with 400 million DAUs, contributing 2.6% purchase gain.

研究の動機と目的

• ライブ配信型ECレコメンデーションにおいて、短期購買と長期的なユーザー–配信者との相互作用をバランスさせる必要性を動機づける。
• 独立した二値損失を最適化し、目的間の相関を無視する従来の多目的アンサンブルの限界に対処する。
• ランキング目的と目的間の関係性を個別化アンサンブルスコアリングのために揃えるHarmoRankを提案する。
• 産業データセットと本番展開でのオフラインおよびオンラインの性能向上を実証する。

提案手法

• AUCをランク和問題として定式化し、 differentiable ranking を通じて訓練とランキング評価を整合させる。
• 2段階の alignment-and-ensemble パラダイムを導入し、複数の目的間で共有されるランキング能力を捉える。
• 自己注意を用いる関係認識モジュールを適用し、パーソナライズされたクエリ特徴量に導かれて目的エンコーディングを揃えることでアンサンブルスコアリングを実現する。
• ゲート機構と線形融合経路を備えた関係性非依存モジュールで補完し、目的スコアを保存・堅牢に融合する。
• アンサンブルへ入力する前に非線形表現を可能にする離散化埋め込みでスコアを前処理する。
• 目的間AUCの和を最大化するエンドツーエンドの differentiable objective を用いて訓練する。

実験結果

リサーチクエスチョン

• RQ1 HarmoRankは産業データセットの多目的レコメンデーションにおいて、最先端ベースラインと比較してどのような性能を示すか。
• RQ2 モジュール設計とハイパーパラメータの選択が性能へ与える影響はどの程度か。
• RQ3 ベースラインと比較してオンラインの本番環境（ABテスト）で改善をもたらすか。
• RQ4 複数目的間のトレードオフにどのような影響を与え、目的間の整合性をどのように示すか。
• RQ5 学習された目的間の整合性は、目的間の関係性について何を示唆するか。

主な発見

• HarmoRankは、3目的および5目的の条件下で、2つの産業データセットに対して強力なベースラインを上回るオフラインAUCサムを達成した。
• オンラインABテストでは、コア購買とエンゲージメント指標での改善を示し、例：購買+2.635%、フォロー+0.451%。
• differentiable rankingベースのAUC最適化は、精度と効率の両面でペアワイズ代替損失やインスタンス単位手法を上回る。
• 自己注意による整合、個別化ガイダンス、ゲート機構、離散化前処理の重要性が、性能向上に寄与するアブレーション結果を示す。
• 本手法はMulti-objective BCEと比較してパレート改善のトレードオフを示し、複数目標の同時最適化が改善されることを示す。