[論文レビュー] Residual-as-Teacher: Mitigating Bias Propagation in Student--Teacher Estimation

Kakei Yamamoto, Martin J. Wainwright|arXiv (Cornell University)|Mar 26, 2026

Domain Adaptation and Few-Shot Learning被引用数 0

ひとこと要約

この論文は Residual-as-Teacher (RaT) を導入する。RaT は出力を直接模倣するのではなく教師が学生の予測残差を推定することで、教師のバイアスを低減し、統計的および計算的特性を良好にする。非漸近的な超過リスク界限、標準的なソフトマッチングからの分離、収束保証を提供し、共変量シフト下での経験的検証を行う。

ABSTRACT

We study statistical estimation in a student--teacher setting, where predictions from a pre-trained teacher are used to guide a student model. A standard approach is to train the student to directly match the teacher's outputs, which we refer to as student soft matching (SM). This approach directly propagates any systematic bias or mis-specification present in the teacher, thereby degrading the student's predictions. We propose and analyze an alternative scheme, known as residual-as-teacher (RaT), in which the teacher is used to estimate residuals in the student's predictions. Our analysis shows how the student can thereby emulate a proximal gradient scheme for solving an oracle optimization problem, and this provably reduces the effect of teacher bias. For general student--teacher pairs, we establish non-asymptotic excess risk bounds for any RaT fixed point, along with convergence guarantees for the student-teacher iterative scheme. For kernel-based student--teacher pairs, we prove a sharp separation: the RaT method achieves the minimax-optimal rate, while the SM method incurs constant prediction error for any sample size. Experiments on both synthetic data and ImageNette classification under covariate shift corroborate our theoretical findings.

研究の動機と目的

• 学生–教師推定におけるバイアス伝搬を動機づけて形式化する。直接的なソフトマッチングが教師のバイアスを継承する点を指摘する。
• RaT を教師を用いて残差を推定し、学生を改良する代替法として導入する。
• RaT の非漸近的リスク界と収束保証を提供する。
• カーネル設定における RaT と標準的なソフトマッチング（SM）との鋭い分離を示す。
• 理論を合成データと共変量シフトした ImageNette の実験で検証する。

提案手法

• RaT の手続を、近接的な学生更新と残差ベースの教師推定を組み合わせる固定点演算子として定義する。
• 教師が学生の残差を予測するように残差回帰ステップを用い、ターゲット共変量に適用する。
• RaT を近接勾配更新と、ペナルティを伴う oracle の推定量 f† = argmin_f L̄_m(f) + Pen(f) に関連づける。
• RaT 固定点を計算するピカード反復スキームを確立する。
• 定理1として非漸近的超過リスク界と、定理2としてSM に対する分離結果を導出する。
• 反復的 RaT アルゴリズムの収束保証を提供する（定理3）。

実験結果

リサーチクエスチョン

• RQ1 RaT は直接的なソフトマッチング（SM）と比較して教師のバイアスの影響を低減できるか。
• RQ2 オラクル推定量 f† に対する RaT 固定点の統計的性質（超過リスク、収束）はどうなるか。
• RQ3 共変量シフト下で、特にカーネルベースの学生–教師ペアに対する RaT の性能はどうか。
• RQ4 RaT の反復アルゴリズムの計算保証と収束挙動はどうか。
• RQ5 合成データおよび共変量シフトした ImageNette の実験は理論的保証を裏付けるか。

主な発見

• RaT は oracle 推定量に対する非漸近的超過リスク界を達成し、教師誘導の勾配精度に性能が結びつく。
• カーネルベースのペアでは、RaT は最 minimax に適合する速度を得る一方、SM は同条件で一定の予測誤差を被る。
• RaT は残差に焦点を当てた指導により SM に対して顕著な性能ギャップを示し、理論と実験の両方で示される。
• RaT の反復スキーム（ピカード更新）は緩い条件下で収束し、選択したステップサイズに依存しない固定点を生み出す。
• 合成データと共変量シフトした ImageNette の実験は、RaT がSM よりも理論的優位を支持する。