[論文レビュー] Asymmetric Tri-training for Debiasing Missing-Not-At-Random Explicit Feedback

Yuta Saito|arXiv (Cornell University)|Sep 8, 2019

Domain Adaptation and Few-Shot Learning参考文献 43被引用数 4

ひとこと要約

本稿では、欠損がランダムでない（MNAR）データにおける推薦システムの明示的フィードバックのバイアス除去のため、非対称な三訓練手法を提案する。2つの予測器が信頼性の高い疑似レーティングを生成し、第3の予測器が最終予測を出力するアプローチにより、順応的スコアに依存せずに、バイアスと分散を低減する。実世界のデータセットにおいて、既存手法を上回る頑健な性能を達成する。

ABSTRACT

In most real-world recommender systems, the observed rating data are subject to selection bias, and the data are thus missing-not-at-random. Developing a method to facilitate the learning of a recommender with biased feedback is one of the most challenging problems, as it is widely known that naive approaches under selection bias often lead to suboptimal results. A well-established solution for the problem is using propensity scoring techniques. The propensity score is the probability of each data being observed, and unbiased performance estimation is possible by weighting each data by the inverse of its propensity. However, the performance of the propensity-based unbiased estimation approach is often affected by choice of the propensity estimation model or the high variance problem. To overcome these limitations, we propose a model-agnostic meta-learning method inspired by the asymmetric tri-training framework for unsupervised domain adaptation. The proposed method utilizes two predictors to generate data with reliable pseudo-ratings and another predictor to make the final predictions. In a theoretical analysis, a propensity-independent upper bound of the true performance metric is derived, and it is demonstrated that the proposed method can minimize this bound. We conduct comprehensive experiments using public real-world datasets. The results suggest that the previous propensity-based methods are largely affected by the choice of propensity models and the variance problem caused by the inverse propensity weighting. Moreover, we show that the proposed meta-learning method is robust to these issues and can facilitate in developing effective recommendations from biased explicit feedback.

研究の動機と目的

• 観測されたレーティングがランダムでない（MNAR）場合に生じる選択バイアスを是正すること。これは一般的なMCAR仮定を満たさない。
• 順応的スコアに基づく手法の限界、特に順応的モデルの選択に敏感であること、逆重み付けによる高い分散を克服すること。
• MNARフィードバック下で推薦精度を向上させる、モデルに依存しないメタラーニング手法の開発。
• 真の性能の順応的スコアに依存しない上界を導出し、それをトレーニングで最小化すること。
• 既存のバイアス除去手法と比較して、多様な実世界のデータセットにおいて頑健で効果的であることを示すこと。

提案手法

• 教師なしドメイン適応にインspiredされた非対称な三訓練フレームワークを採用。2つの予測器が疑似レーティングを生成し、1つが最終予測を出力する。
• メタラーニング戦略を採用。最終予測器は2つの補助予測器から得た疑似ラベルデータで学習され、一般化性能が向上する。
• 理論的分析により、本手法が真の性能指標の順応的スコアに依存しない上界を最小化することを示す。
• 2段階のトレーニングプロセスを採用：まず、2つの予測器を観測データで学習。次に、それらが未観測ペairの疑似レーティングを生成し、最終予測器を学習。
• モデルに依存しない設計であり、行列分解などのさまざまな推薦モデルと統合可能。
• 信頼度のしきい値を用いて信頼性の高い疑似レーティングをフィルタリングし、ノイズを低減し、頑健性を向上。

実験結果

リサーチクエスチョン

• RQ1 順応的スコアに依存しないメタラーニング手法は、推薦システムにおけるバイアスを低減できるか？
• RQ2 提案手法の非対称な三訓練は、順応的スコアに基づく手法と比較して、モデル選択の感度と分散の面でより頑健か？
• RQ3 真の性能の理論的上界を最小化することで、MNARの明示的フィードバックにおいてより良い性能を達成できるか？
• RQ4 本手法は、選択バイアスの程度が異なる多様な実世界のデータセットに、どの程度一般化可能か？
• RQ5 補助予測器が生成する疑似レーティングは、真のラベルが存在しない状況で、最終予測の正確性を向上させられるか？

主な発見

• 提案手法は、複数の公開データセットにおいて、既存の順応的スコアに基づく手法を顕著に上回る推薦精度を達成する。
• 順応的推定モデルの選択に対して頑健であることが示され、先行手法の主な限界を克服する。
• 特にアイテムの人気度が高く、ユーザーの活動性にばらつきがある状況でも、性能推定の分散が低減される。
• 実験結果から、導出された順応的スコアに依存しない上界が最小化されていることが確認され、理論的分析の妥当性が裏付けられる。
• 2つの信頼性の高い予測器から得た疑似レーティングを用いることで、バイアスのある観測データへの直接学習よりも、より正確な最終予測が得られる。
• 包括的な実験により、真の順応的スコアが不明または誤って指定されていても、本手法が有効であることが確認された。