[論文レビュー] Being Bayesian about Categorical Probability

Taejong Joo, Uijung Chung+1 more|ArXiv.org|Feb 19, 2020

Anomaly Detection Techniques and Applications参考文献 62被引用数 10

ひとこと要約

この論文は、カテゴリカル確率をディリクレ事前分布を用いて確率的変数としてモデル化することで、ソフトマックス関数のベイジアン代替手法を提案している。これにより、不確実性推定とモデルのキャリブレーションが向上し、計算コストの増加を最小限に抑えつつ、一般化性能とキャリブレーションの両面で一貫した改善が達成される。標準的な交差エントロピー損失に代わり、ベイズの定理を用いて信念を更新する信念マッチングフレームワークが採用されており、計算コストの増加が最小限である。

ABSTRACT

Neural networks utilize the softmax as a building block in classification tasks, which contains an overconfidence problem and lacks an uncertainty representation ability. As a Bayesian alternative to the softmax, we consider a random variable of a categorical probability over class labels. In this framework, the prior distribution explicitly models the presumed noise inherent in the observed label, which provides consistent gains in generalization performance in multiple challenging tasks. The proposed method inherits advantages of Bayesian approaches that achieve better uncertainty estimation and model calibration. Our method can be implemented as a plug-and-play loss function with negligible computational overhead compared to the softmax with the cross-entropy loss function.

研究の動機と目的

• 深層ニューラルネットワークにおける標準的なソフトマックス関数の過信と劣悪な不確実性キャリブレーションを是正すること。
• 主なアーキテクチャ的変更を加えずに、深層学習モデルの一般化性能を向上させること。
• カテゴリカル確率を確率的変数として扱うことで、分類における効率的なベイジアン推論を可能とすること。
• ネットワークアーキテクチャの変更なしに、不確実性表現を強化する即席の損失関数を提供すること。

提案手法

• ラベルノイズと不確実性を表現するために、カテゴリカル確率分布をディリクレ事前分布を用いた確率的変数としてモデル化する。
• 観測されたラベルを用いてベイズの定理を適用し、事前信念を更新することで、クラス確率上の事後分布を形成する。
• 標準的なソフトマックス交差エントロピー損失に代わり、予測分布と事後分布のKLダイバージェンスを最小化する信念マッチング損失を導入する。
• 計算が困難な事後分布を近似するために変分推論を用い、エンドツーエンドの学習を可能にする。
• 既存の深層学習フレームワークやモデルと互換性を持つ即席の損失関数として実装する。
• 解析的更新が可能で、事後分布の計算を効率的に行えるディリクレ共役事前分布を採用する。

実験結果

リサーチクエスチョン

• RQ1 カテゴリカル確率を確率的変数としてモデル化することで、深層ニューラルネットワークにおけるモデルキャリブレーションと不確実性推定が向上するか。
• RQ2 提案された信念マッチングフレームワークは、一般化性能とロバストネスの観点で、標準的なソフトマックス交差エントロピー損失と比べてどのように異なるか。
• RQ3 既存の深層学習モデルに、最小限のアーキテクチャ的変更と計算コストでベイジアンアプローチを統合できるか。
• RQ4 予測のより洗練された確率的構造を捉えることで、半教師あり学習において性能が向上するか。

主な発見

• VATを用いたCIFAR-10では、信念マッチング（BM）法が12.40% ± 0.23のテスト誤差にまで低下させ、標準的なソフトマックスの13.33% ± 0.37を上回った。
• Πモデルを用いたCIFAR-10では、BM法が16.01% ± 0.36のテスト誤差を達成し、標準的なソフトマックスの16.52% ± 0.21を上回った。
• 大きなモデル、特にImageNetにおけるResNeXt-101においても、一般化性能の向上が確認され、ベンチマーク全体にわたる一貫した向上が示された。
• 信念マッチングフレームワークは、予測の(共)分散といった統計的構造を捉えることができ、モーメントベースの整合性損失よりも洗練された確率的構造を表現できた。
• ネットワークアーキテクチャの変更なしに、顕著な計算コスト増加なしに、不確実性推定とモデルキャリブレーションが向上した。
• 分布レベルのマッチングを可能にすることで、より洗練された整合性測定が可能となり、半教師あり学習においても有効性を示した。