[論文レビュー] Debiased Collaborative Filtering with Kernel-Based Causal Balancing
本論文は適応カーネルベースのバランシングを用いてIPSおよびDRデバイアスのある協調フィルタリングの傾向スコアを学習し、因果バランス制約をより満たし、評価予測のバイアスを低減することを目的としている。
Debiased collaborative filtering aims to learn an unbiased prediction model by removing different biases in observational datasets. To solve this problem, one of the simple and effective methods is based on the propensity score, which adjusts the observational sample distribution to the target one by reweighting observed instances. Ideally, propensity scores should be learned with causal balancing constraints. However, existing methods usually ignore such constraints or implement them with unreasonable approximations, which may affect the accuracy of the learned propensity scores. To bridge this gap, in this paper, we first analyze the gaps between the causal balancing requirements and existing methods such as learning the propensity with cross-entropy loss or manually selecting functions to balance. Inspired by these gaps, we propose to approximate the balancing functions in reproducing kernel Hilbert space and demonstrate that, based on the universal property and representer theorem of kernel functions, the causal balancing constraints can be better satisfied. Meanwhile, we propose an algorithm that adaptively balances the kernel function and theoretically analyze the generalization error bound of our methods. We conduct extensive experiments to demonstrate the effectiveness of our methods, and to promote this research direction, we have released our project at https://github.com/haoxuanli-pku/ICLR24-Kernel-Balancing.
研究の動機と目的
- 観測データにおける協調フィルタリングの偏りを動機づけ、対処する。
- RKHSにおける因果バランスを強制することで propensity 学習のギャップを埋める。
- バランス制約を満たし一般化誤差を抑えるために適応的かつ最悪ケースのカーネルバランシングを提案する。
- 提案するカーネルベース手法に対する理論的保証と一般化境界を提供する。
- IPSおよびDR推定量の枠組みで実世界データセットにおける経験的利得を示す。
提案手法
- IPSとDRの損失を用いてデ바イアストCFを定式化し、バランシング制約を傾向スコア学習へ結びつける。
- 全ての φ に対して因果バランスを満たすようガウス核や指数核を用いてRKHS内のバランス関数を近似する。
- 潜在的なバイアスを最小化するための最悪ケースカーネルバランシング（WKB）を開発する。
- データ駆動の基準で最も影響力のあるカーネル関数を選択する適応カーネルバランシング（AKB）を導入する。
- 予測、バランスウェイト、および欠損推定モデルを同時に更新する反復トレーニング枠組みを提供する（アルゴリズム1のように）。
- KBIPSおよびKBDRのRKHSにおける一般化誤差境界を導出し、WKB/AKBによるバイアス制御を示す。
実験結果
リサーチクエスチョン
- RQ1デバイアスCSの propensity 学習において因果バランス制約をどのようにより適切に満たすことができるか。
- RQ2RKHSベースのカーネルバランシングは有限関数アプローチよりも全φのバランスをより効果的に近似できるか。
- RQ3適応的または最悪ケースのバランシングを用いたカーネルベースの propensity 推定量（KBIPS/KBDR）はバイアスを低減し予測性能を改善するか。
- RQ4協調フィルタリングのカーネルベースデバイアリング手法の理論的一般化保証は何か。
- RQ5標準的なデータセットに対して、カーネルベース手法は既存のIPS/DRデバイア Baselineとどう比較されるか。
主な発見
| 手法 | Coat AUC | Coat NDCG@5 | Coat F1@5 | Music AUC | Music NDCG@5 | Music F1@5 | Product AUC | Product NDCG@20 | Product F1@20 |
|---|---|---|---|---|---|---|---|---|---|
| MF | 0.703 ±0.006 | 0.605 ±0.012 | 0.467 ±0.007 | 0.673 ±0.001 | 0.635 ±0.002 | 0.306 ±0.002 | 0.753 ±0.001 | 0.449 ±0.002 | 0.124 ±0.002 |
| + IPS | 0.717 ±0.007 | 0.617 ±0.009 | 0.473 ±0.008 | 0.678 ±0.001 | 0.638 ±0.002 | 0.318 ±0.002 | 0.755 ±0.004 | 0.452 ±0.010 | 0.131 ±0.004 |
| + SNIPS | 0.714 ±0.012 | 0.614 ±0.012 | 0.474 ±0.009 | 0.683 ±0.002 | 0.639 ±0.002 | 0.316 ±0.002 | 0.754 ±0.003 | 0.453 ±0.004 | 0.126 ±0.003 |
| + ASIPS | 0.719 ±0.009 | 0.618 ±0.012 | 0.476 ±0.009 | 0.679 ±0.003 | 0.640 ±0.003 | 0.319 ±0.003 | 0.757 ±0.005 | 0.474 ±0.007 | 0.130 ±0.005 |
| + IPS-V2 | 0.726 ±0.005 | 0.627 ±0.009 | 0.479 ±0.008 | 0.685 ±0.002 | 0.646 ±0.003 | 0.320 ±0.002 | 0.764 ±0.001 | 0.476 ±0.003 | 0.135 ±0.003 |
| + RKBIPS-Exp | 0.714 ±0.003 | 0.618 ±0.010 | 0.474 ±0.007 | 0.676 ±0.002 | 0.642 ±0.003 | 0.318 ±0.002 | 0.763 ±0.001 | 0.463 ±0.007 | 0.134 ±0.002 |
| + RKBIPS-Gau | 0.715 ±0.005 | 0.619 ±0.010 | 0.475 ±0.008 | 0.678 ±0.001 | 0.640 ±0.004 | 0.315 ±0.003 | 0.760 ±0.003 | 0.470 ±0.008 | 0.133 ±0.003 |
| + WKBIPS-Exp | 0.723 ±0.004 | 0.624 ±0.009 | 0.480 ±0.007 | 0.687 ±0.002 | 0.654 ±0.002 | 0.322 ±0.002 | 0.765 ±0.003 | 0.475 ±0.007 | 0.138 ±0.003 |
| + WKBIPS-Gau | 0.722 ±0.004 | 0.625 ±0.008 | 0.479 ±0.007 | 0.686 ±0.002 | 0.650 ±0.002 | 0.321 ±0.002 | 0.763 ±0.003 | 0.476 ±0.007 | 0.137 ±0.003 |
| + AKBIPS-Exp | 0.732* ±0.004 | 0.636* ±0.006 | 0.483 ±0.006 | 0.689* ±0.001 | 0.658* ±0.002 | 0.324* ±0.002 | 0.766* ±0.003 | 0.478 ±0.009 | 0.138* ±0.003 |
| + AKBIPS-Gau | 0.730* ±0.003 | 0.633 ±0.008 | 0.484 ±0.007 | 0.688* ±0.003 | 0.655* ±0.003 | 0.324* ±0.002 | 0.767* ±0.003 | 0.480 ±0.009 | 0.139* ±0.003 |
| + DR | 0.718 ±0.008 | 0.623 ±0.009 | 0.474 ±0.007 | 0.684 ±0.002 | 0.658 ±0.003 | 0.326 ±0.002 | 0.755 ±0.008 | 0.462 ±0.010 | 0.135 ±0.005 |
| + DR-JL | 0.723 ±0.005 | 0.629 ±0.007 | 0.479 ±0.005 | 0.685 ±0.002 | 0.653 ±0.002 | 0.324 ±0.002 | 0.766 ±0.002 | 0.467 ±0.005 | 0.136 ±0.003 |
| + MRDR-JL | 0.727 ±0.005 | 0.627 ±0.008 | 0.480 ±0.008 | 0.684 ±0.002 | 0.652 ±0.003 | 0.325 ±0.002 | 0.768 ±0.005 | 0.473 ±0.007 | 0.139 ±0.004 |
| + DR-BIAS | 0.726 ±0.004 | 0.629 ±0.009 | 0.482 ±0.007 | 0.685 ±0.002 | 0.653 ±0.002 | 0.325 ±0.003 | 0.768 ±0.003 | 0.477 ±0.006 | 0.137 ±0.004 |
| + DR-MSE | 0.727 ±0.007 | 0.631 ±0.008 | 0.484 ±0.007 | 0.687 ±0.002 | 0.657 ±0.003 | 0.327 ±0.003 | 0.770 ±0.003 | 0.480 ±0.006 | 0.140 ±0.003 |
| + MR | 0.724 ±0.004 | 0.636 ±0.006 | 0.481 ±0.006 | 0.691 ±0.002 | 0.647 ±0.002 | 0.316 ±0.003 | 0.776 ±0.005 | 0.483 ±0.006 | 0.142 ±0.003 |
| + TDR | 0.714 ±0.006 | 0.634 ±0.011 | 0.483 ±0.008 | 0.688 ±0.003 | 0.662 ±0.002 | 0.329 ±0.002 | 0.772 ±0.003 | 0.486 ±0.005 | 0.140 ±0.003 |
| + TDR-JL | 0.731 ±0.005 | 0.639 ±0.007 | 0.484 ±0.007 | 0.689 ±0.002 | 0.656 ±0.004 | 0.327 ±0.003 | 0.772 ±0.003 | 0.489 ±0.005 | 0.142 ±0.003 |
| + SDR | 0.735 ±0.005 | 0.640 ±0.007 | 0.484 ±0.006 | 0.688 ±0.002 | 0.661 ±0.003 | 0.329 ±0.002 | 0.773 ±0.001 | 0.491 ±0.003 | 0.143 ±0.003 |
| + DR-V2 | 0.734 ±0.007 | 0.639 ±0.009 | 0.487 ±0.006 | 0.690 ±0.002 | 0.660 ±0.005 | 0.328 ±0.002 | 0.773 ±0.003 | 0.488 ±0.006 | 0.142 ±0.004 |
| + RKBDR-Exp | 0.730 ±0.003 | 0.631 ±0.005 | 0.482 ±0.006 | 0.682 ±0.002 | 0.648 ±0.003 | 0.323 ±0.002 | 0.765 ±0.004 | 0.460 ±0.006 | 0.138 ±0.003 |
| + RKBDR-Gau | 0.726 ±0.005 | 0.630 ±0.008 | 0.480 ±0.008 | 0.683 ±0.002 | 0.652 ±0.003 | 0.325 ±0.002 | 0.766 ±0.003 | 0.469 ±0.007 | 0.134 ±0.004 |
| + WKBDR-Exp | 0.735 ±0.005 | 0.637 ±0.009 | 0.483 ±0.006 | 0.685 ±0.003 | 0.654 ±0.003 | 0.325 ±0.002 | 0.773 ±0.003 | 0.489 ±0.008 | 0.142 ±0.003 |
| + WKBDR-Gau | 0.732 ±0.003 | 0.638 ±0.007 | 0.483 ±0.005 | 0.687 ±0.001 | 0.655 ±0.002 | 0.327 ±0.002 | 0.773 ±0.002 | 0.490 ±0.005 | 0.142 ±0.004 |
| + AKBDR-Exp | 0.745* ±0.004 | 0.645 ±0.008 | 0.493* ±0.007 | 0.692 ±0.002 | 0.661 ±0.002 | 0.328 ±0.002 | 0.782* ±0.003 | 0.498* ±0.008 | 0.147* ±0.003 |
| + AKBDR-Gau | 0.746* ±0.004 | 0.646* ±0.008 | 0.492 ±0.007 | 0.694* ±0.002 | 0.664* ±0.002 | 0.332* ±0.002 | 0.782* ±0.005 | 0.503* ±0.006 | 0.148* ±0.004 |
- 適応カーネルバランシング（AKB）は、データセットとカーネルを問わず、デバイアリング性能を一貫して改善する。
- Gaussianまたは指数カーネルを用いたAKBは、Coat、Music、Productデータセットで最良の総合AUC、NDCG@5、F1スコアを達成。
- カーネルバランシング手法（KBIPS/KBDR）はランダムカーネルバランシング（RKB）およびモーメントバランシング（MB）ベースラインを上回り、AKBが最も大きな改善をもたらす。
- RKHS仮定の下でKBIPS/KBDRを用いた一般化境界が、カーネルベースのバランシングを適用したとき誤差を減少させることを示す。
- 実証的な結果は、AKBDRとカーネルバランシングを組み合わせた場合、多くのIPS/DRベースラインよりも統計的有意な改善を示す（例: AKBDR-ExpおよびAKBDR-Gau）。
より良い研究を、今すぐ始めましょう
論文設計から論文執筆まで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。