[論文レビュー] Understanding the bias-variance tradeoff of Bregman divergences

Ben Adlam, Neha Gupta+2 more|arXiv (Cornell University)|Feb 8, 2022

Statistical Mechanics and Entropy被引用数 10

ひとこと要約

本稿は、Bregman散発のバイアス・バリアンストレードオフを再解釈することで解決する。中心予測を双対空間の平均として再定式化し、バイアスとバリアンスの統一的分析を可能にする。一般化された全分散の法則を確立し、双対平均がバイアスに影響を与えずにバリアンスを低減することを示し、非対称損失（例：交差エントロピー）におけるアンサンブルの原理的枠組みを提供する。

ABSTRACT

This paper builds upon the work of Pfau (2013), which generalized the bias variance tradeoff to any Bregman divergence loss function. Pfau (2013) showed that for Bregman divergences, the bias and variances are defined with respect to a central label, defined as the mean of the label variable, and a central prediction, of a more complex form. We show that, similarly to the label, the central prediction can be interpreted as the mean of a random variable, where the mean operates in a dual space defined by the loss function itself. Viewing the bias-variance tradeoff through operations taken in dual space, we subsequently derive several results of interest. In particular, (a) the variance terms satisfy a generalized law of total variance; (b) if a source of randomness cannot be controlled, its contribution to the bias and variance has a closed form; (c) there exist natural ensembling operations in the label and prediction spaces which reduce the variance and do not affect the bias.

研究の動機と目的

• Bregman散発に基づくバイアス・バリアンス分解における中心予測の理論的曇りを解消すること。
• KL散発や交差エントロピーなどの非対称損失において、バイアスとバリアンスの分析を統一すること。
• 中心予測の計算と解釈を簡素化する双対空間の視点を確立すること。
• バリアンスの一般的性質（特に一般化された全分散の法則）を導出すること。
• 原始空間と双対空間におけるアンサンブルのバイアスとバリアンスへの影響を特定すること。

提案手法

• Bregman散発によって定義される双対空間における期待予測の原始的表現として、中心予測を再定式化する。
• 双対平均を定義し、バイアスを保持しながらバリアンスを低減する。双対平均とは、双対空間における平均の原始的表現である。
• 凸共役を用いた原始空間と双対空間の双対性を活用し、原始バリアンスと双対バリアンスを関連付ける。
• 一般化された全分散の法則を適用し、独立な確率的要因に起因するモデルバリアンスを分解する。
• 制御不能な確率的要因による不変バイアス寄与の閉形式表現を導出する。
• 双対平均が、散発関数が同時凸性を満たさない場合でもバイアスを保持し、バリアンスを低減することを示す。

実験結果

リサーチクエスチョン

• RQ1 Bregman散発に基づくバイアス・バリアンス分解における中心予測は、非対称な場合に意味的にどのように解釈できるか？
• RQ2 Bregman散発におけるモデルバリアンスは、一般化された全分散の法則を満たすか？
• RQ3 原始空間と双対空間におけるアンサンブルのバイアスとバリアンスへの影響は何か？
• RQ4 制御不能な要因による不変バイアスは、Bregman散発下で閉形式で表現可能か？
• RQ5 双対空間の視点は、対称的・非対称的Bregman散発（交差エントロピー、KL散発など）にわたるバイアスとバリアンスの挙動をどのように統一するか？

主な発見

• Bregman散発バイアス・バリアンス分解における中心予測は、双対空間における期待予測の原始的表現であり、これによりその曇りが解消された。
• モデルバリアンスは一般化された全分散の法則を満たし、独立な確率的要因に起因する分解が可能になった。
• 制御不能な確率的要因は、閉形式でバイアスとバリアンスに寄与し、明示的な表現が導出された。
• 予測空間における双対平均は、散発関数が jointly convex でない場合でもバイアスに影響を与えずにバリアンスを低減する。
• 原始平均はバイアスを任意に変更する可能性があるが、双対平均は一貫してバリアンスを低減しバイアスを保持する。これは古典的なアンサンブルの挙動を一般化する。
• 双対空間フレームワークにより、対称的および非対称的Bregman散発（交差エントロピー、KL散発など）にわたるバイアスとバリアンスの分析が統一された。