[論文レビュー] Data augmentation in Bayesian neural networks and the cold posterior effect

Seth Nabarro, Stoil Ganev+4 more|arXiv (Cornell University)|Jun 10, 2021

Gaussian Processes and Bayesian Inference被引用数 6

ひとこと要約

この論文は、有限軌道設定における正確な尤度計算と全軌道設定におけるタイトなマルチサンプル境界を導入することで、データ拡張を伴う原理的で整合性のあるベイジアンニューラルネットワーク（BNN）訓練を提案する。実験では、こうした明確に定義された尤度のもとでも冷たい事後分布効果（cold posterior effect）が継続することを示しており、これはデータ拡張の取り扱いが不適切であるための副産物ではなく、むしろデータのキュレーションや事前分布の誤りに起因する可能性が高いことを示唆している。

ABSTRACT

Bayesian neural networks that incorporate data augmentation implicitly use a ``randomly perturbed log-likelihood [which] does not have a clean interpretation as a valid likelihood function'' (Izmailov et al. 2021). Here, we provide several approaches to developing principled Bayesian neural networks incorporating data augmentation. We introduce a ``finite orbit'' setting which allows likelihoods to be computed exactly, and give tight multi-sample bounds in the more usual ``full orbit'' setting. These models cast light on the origin of the cold posterior effect. In particular, we find that the cold posterior effect persists even in these principled models incorporating data augmentation. This suggests that the cold posterior effect cannot be dismissed as an artifact of data augmentation using incorrect likelihoods.

研究の動機と目的

• ベイジアンニューラルネットワークにおける不適切なデータ拡張の長年の問題に取り組むこと。標準的手法は有効な確率的解釈を持たない「ランダムに摂動された対数尤度」を生成する。
• 有限軌道設定による正確な尤度計算と一般ケースにおけるマルチサンプル境界を導入することで、データ拡張をBNNに原理的かつ整合的に組み込むフレームワークを構築すること。
• 冷たい事後分布効果（CPE）が、誤った尤度の生成に起因するデータ拡張の欠陥に起因するものかどうかを調査すること。
• 誤った尤度の要因を排除した清浄で明確に定義された尤度を持つモデルにおいてCPEを評価し、その真の原因を複数の仮説の中から特定すること。
• 不適切な尤度の要因を排除した状態で、データキュレーションと事前分布の誤りが冷たい事後分布効果に果たす役割を明確にすること。

提案手法

• 小さな離散的集合の許容可能な拡張のみを許容する「有限軌道」設定を導入し、ベイジアンニューラルネットワークにおける対数尤度の正確な計算を可能にする。
• 全軌道設定における計算不能な対数尤度の下界をタイトに保つために、マルチサンプル推定器を提案。この推定器はネットワークのログットや確率を複数の拡張サンプルにわたって平均化することで構成される。
• 複数の拡張サンプルにわたるログットまたは確率の平均化に基づく訓練目的関数を導出し、単一サンプル推定器よりも有効でタイトな境界を達成する。
• 分類および回帰の両タスクにこの手法を適用し、標準的な分類設定を超えて一般化する。
• Stochastic Gradient Langevin Dynamics（SGLD）やその他のベイジアン推論手法を用いて、原理的なデータ拡張を組み込んだBNNを訓練および評価する。
• 冷たい事後分布効果を検証するために、事後分布に温度スケーリング（T）を導入し、T=1とT<1の状況での性能と尤度を比較する。

実験結果

リサーチクエスチョン

• RQ1 原理的で明確に定義された尤度のもとで、データ拡張が組み込まれたベイジアンニューラルネットワークにおいても冷たい事後分布効果が継続するか？
• RQ2 データ拡張付きBNNに対して、正確またはタイトなマルチサンプル尤度下界を導出できるか？また、そのような境界はモデルのキャリブレーションと性能を向上させるか？
• RQ3 冷たい事後分布効果は、単純なデータ拡張によって生じる不適切な尤度に起因するものか、それともモデル仕様の根本的な問題を反映しているのか？
• RQ4 データ拡張あり・なしのモデルにおける冷たい事後分布効果の有無は、その真の原因を解明する手がかりとなるか？
• RQ5 誤った尤度という要因を排除した現在の状況において、データキュレーションと事前分布の誤りが冷たい事後分布効果をどれほど説明できるか？

主な発見

• 有限軌道設定における正確な尤度と全軌道設定におけるタイトなマルチサンプル境界を用いたBNNにおいても、冷たい事後分布効果が継続することを示しており、これはデータ拡張に起因する不適切な尤度の副産物ではないことを示唆している。
• 先行研究（例：Wenzel et al., 2020）で用いられた標準的な単一サンプル訓練目的関数は、真の対数尤度に対して緩い境界を生成しており、CPEの誤解を招く要因となっている可能性がある。
• ログットまたは確率の平均化に基づくマルチサンプル推定器は、単一サンプル手法よりもタイトな境界を達成でき、ガウス分布やPólya-Gamma近似に限定されない広範な尤度関数クラスに適用可能である。
• 有限軌道設定により、対数尤度の正確な計算が可能となり、原理的なデータ拡張付きBNNの評価に向けた明確なベンチマークが得られる。
• データ拡張なしでは冷たい事後分布効果が現れない一方で、原理的なデータ拡張を用いた場合にその効果が継続することから、非拡張モデルではCPEが現れないのは、誤ったモデルが使われているための副産物であり、正しさの兆候ではない可能性がある。
• 結果は、冷たい事後分布効果が、データ拡張の欠陥よりも、データキュレーション（例：複数のアノテータによる画像ラベル付け）や事前分布の誤りに起因する可能性が高いという仮説を支持している。