[論文レビュー] Toward Understanding Privileged Features Distillation in Learning-to-Rank

Shuo Yang, Sujay Sanghavi+3 more|arXiv (Cornell University)|Sep 19, 2022

Advanced Bandit Algorithms Research被引用数 4

ひとこと要約

本稿は、学習順序付けにおける特権的特徴の蒸留（PFD）を調査する。教師モデルは通常特徴と特権的特徴（例：クリック履歴）の両方を用いて学習され、その知識が通常特徴のみを用いる学生モデルに蒸留される。主な発見は、非単調な性能曲線である。特権的特徴の予測能が向上するにつれて、学生の性能は一時的に向上するが、教師の予測の分散が高くなるため、最終的に低下する。

ABSTRACT

In learning-to-rank problems, a privileged feature is one that is available during model training, but not available at test time. Such features naturally arise in merchandised recommendation systems; for instance, "user clicked this item" as a feature is predictive of "user purchased this item" in the offline data, but is clearly not available during online serving. Another source of privileged features is those that are too expensive to compute online but feasible to be added offline. Privileged features distillation (PFD) refers to a natural idea: train a "teacher" model using all features (including privileged ones) and then use it to train a "student" model that does not use the privileged features. In this paper, we first study PFD empirically on three public ranking datasets and an industrial-scale ranking problem derived from Amazon's logs. We show that PFD outperforms several baselines (no-distillation, pretraining-finetuning, self-distillation, and generalized distillation) on all these datasets. Next, we analyze why and when PFD performs well via both empirical ablation studies and theoretical analysis for linear models. Both investigations uncover an interesting non-monotone behavior: as the predictive power of a privileged feature increases, the performance of the resulting student model initially increases but then decreases. We show the reason for the later decreasing performance is that a very predictive privileged teacher produces predictions with high variance, which lead to high variance student estimates and inferior testing performance.

研究の動機と目的

• 特権的特徴がテスト時において利用できない状況下でも、特権的特徴の蒸留（PFD）の有効性と限界を調査すること。
• 実際の実装でPFDがノーディスティレーション、自己蒸留、一般化蒸留（GenD）といったベースラインを上回る理由を理解すること。
• PFDの性能の背後にあるメカニズム、特に教師の予測分散の役割を解明すること。
• 特権的特徴の予測能が強くてもPFDが失敗する条件を分析すること。

提案手法

• 通常特徴と特権的特徴の両方を用いて教師モデルを学習し、訓練データのためのソフトラベルを生成する。
• 通常特徴のみを用いて学生モデルを学習し、重み付き組み合わせにより真のラベルと教師の予測ラベルの両方を損失関数に組み込む。
• アブレーションスタディを用いて、蒸留損失の重み（α）とラベルのスパarsityが性能に与える影響を分析する。
• 線形モデルを用いた理論的分析により、学生モデルの推定誤差を導出し、分散の原因を特定する。
• 潜在変数を用いてデータ生成プロセスをモデル化し、ラベルの分散をノイズ成分と特権的特徴による説明可能な成分に分解する。
• PFD下での学生モデルの期待推定誤差の閉形式表現を導出し、バイアス低減と分散増加のトレードオフを示す。

実験結果

リサーチクエスチョン

• RQ1 なぜPFDは、ノーディスティレーション、自己蒸留、一般化蒸留といった複数のベースラインを、多様な学習順序付けデータセットで上回るのか？
• RQ2 特権的特徴の予測能が、PFDにおける学生モデルの性能にどのように影響するのか？
• RQ3 特権的特徴が最も予測能が高い場合に、最も良い学生性能が得られないという観察された非単調な性能曲線の原因は何か？
• RQ4 なぜ一般化蒸留（GenD）— ここで教師は特権的特徴のみを用いる — は実際のPFDに劣っているのか？
• RQ5 PFDにおける教師の予測分散が、学生モデルの一般化誤差にどのように影響するのか？

主な発見

• PFDは、3つの公開学習順序付けデータセット（Yahoo、Istella、MSLRWeb30k）および産業スケールのAmazon検索ログデータセットにおいて、ノーディスティレーション、自己蒸留、一般化蒸留、ファインチューニング済み事前学習といったすべてのベースラインを上回る性能を示した。
• PFDの性能は、特権的特徴の予測能に対して非単調な関係を示す。性能は当初上昇するが、特権的特徴の予測能が高くなるにつれて低下する。
• 非常に予測能の高い特権的特徴を用いる場合の性能低下は、教師の予測の分散が高いためであり、これが学生のパラメータ推定の分散を高め、一般化性能を悪化させる。
• 理論的分析により、PFDが特権的特徴によって説明可能なラベル分散の部分を学習可能にすることで、学生の推定分散を低減し、一般化性能を向上させることを示した。
• 一般化蒸留（GenD）はPFDに劣る。その理由は、特権的特徴と通常特徴が独立している場合、教師の予測が情報のないノイズになること、および教師が通常特徴を欠いているため予測品質が向上しないことにある。
• Amazonデータにおける実験結果は、最も予測能の高い特徴（例：「カートに追加」）を用いてもPFDの性能が最良にならないことを確認しており、理論的および合成実験で観察された非単調な挙動を裏付けた。