[論文レビュー] Everything old is new again: A multi-view learning approach to learning using privileged information and distillation

Weiran Wang|arXiv (Cornell University)|Mar 8, 2019

Advanced Bandit Algorithms Research参考文献 16被引用数 3

ひとこと要約

本稿では、正則化された経験的リスク最小化（RERM）目的関数を通じて、教師・生徒予測器の整合性を促進することにより、学習における特権情報の利用（LUPI）と知識蒸留を統合する包括的なマルチビュー学習フレームワークを提案する。モデル性能に関する楽観的仮定のもとで、正規化に基づく標準共分散分析（CCA）による仮説空間の縮小により、収束速度が向上し、特にO(1/n)の改善が達成される。

ABSTRACT

We adopt a multi-view approach for analyzing two knowledge transfer settings---learning using privileged information (LUPI) and distillation---in a common framework. Under reasonable assumptions about the complexities of hypothesis spaces, and being optimistic about the expected loss achievable by the student (in distillation) and a transformed teacher predictor (in LUPI), we show that encouraging agreement between the teacher and the student leads to reduced search space. As a result, improved convergence rate can be obtained with regularized empirical risk minimization.

研究の動機と目的

• 学習における特権情報の利用（LUPI）と知識蒸留を、共通のマルチビュー学習フレームワークの下で統一的に分析すること。
• 教師と生徒の予測器の整合性が最適モデルの探索空間をどのように縮小するかを調査すること。
• LUPIおよび蒸留設定の両方で、O(1/n)のより速い収束速度が達成可能な理論的条件を確立すること。
• 標準共分散分析（CCA）がモデルの複雑さを制御し、一般化性能を向上させる役割を形式化すること。
• 予測誤差に基づく、実用的で最適化可能な正則化子を提供し、両設定における一般化性能の向上を実現すること。

提案手法

• 標準特徴量と特権情報（LUPIにおけるもの）またはソフトターゲット（蒸留におけるもの）を、入力データの二つのビューとして扱う。
• 生徒と教師の予測の二乗差をペナルティとする正則化された経験的リスク最小化（RERM）目的関数を定式化する。
• 標準共分散分析（CCA）を用いて、仮説クラスの複雑さを制御する座標系を定義する。
• 楽観的性能仮定を採用：蒸留では生徒が低い期待損失を達成可能であり、LUPIでは変換された教師予測器が良好に動作すると仮定する。
• 正則化がO(1/n)収束速度を達成可能な最適損失値の範囲を拡大することを示す収束バウンドを導出する。
• 標準共分散λ₁ < 1のとき、正則化子が強い凸性を保証し、効果的な複雑さ制御が可能であることを確立する。

実験結果

リサーチクエスチョン

• RQ1 LUPIと知識蒸留は、単一のマルチビュー学習フレームワークの下で正式に統一可能か？
• RQ2 教師と生徒の予測器の整合性を促進することで、どのような条件下で収束が速くなるか？
• RQ3 標準共分散分析（CCA）は、仮説空間における複雑さの制御にどのように寄与するか？
• RQ4 教師および生徒の性能に関する楽観的仮定が収束速度に与える影響は何か？
• RQ5 予測誤差に基づく単純で微分可能な正則化子は、LUPIおよび蒸留の両設定で、標準的なERMを上回る性能を発揮できるか？

主な発見

• 予測誤差正則化子を備えた提案されたRERMフレームワークは、楽観的仮定のもとで、標準的なERMよりも速いO(1/n)収束速度を達成する。
• ビュー間の整合性により、有効な仮説空間が縮小され、一般化性能の向上とより速い学習が実現される。
• 標準共分散λ₁ < 1のとき、正則化子は生徒および教師のパラメータにおいて強い凸性を保証し、よりタイトな一般化バウンドを可能にする。
• 仮説クラスの複雑さは、特権ビューの分散S²によって効果的に制御され、特にS² ≪ B²のとき（Lemma 10で示す）、その効果が顕著になる。
• 期待損失の導出バウンドはO(α/n + √(αL*/n))であり、αはモデルおよびデータの性質に依存する関数として表され、ベースライン手法に比べた収束の改善が示される。
• 本手法はペアドデータに限定されず、非ペアまたは不均衡なラベル付きデータを含む設定へも拡張可能である。