[論文レビュー] Blurs Behave Like Ensembles: Spatial Smoothings to Improve Accuracy, Uncertainty, and Robustness

Namuk Park, Songkuk Kim|arXiv (Cornell University)|May 26, 2021

Medical Imaging and Analysis被引用数 4

ひとこと要約

本稿では、空間平滑化—畳み込みニューラルネットワークの特徴マップにぼかし層を適用してアンサンブルの挙動を模倣する技術—を提案する。特徴マップの安定化と損失関数の滑らかさの向上により、空間平滑化はベイジアンネットワークおよび決定的ネットワークの両方において、精度、不確実性推定、耐性性能を顕著に向上させる。これにより、少数のアンサンブルメンバーでの高精度な性能が実現される。

ABSTRACT

Neural network ensembles, such as Bayesian neural networks (BNNs), have shown success in the areas of uncertainty estimation and robustness. However, a crucial challenge prohibits their use in practice. BNNs require a large number of predictions to produce reliable results, leading to a significant increase in computational cost. To alleviate this issue, we propose spatial smoothing, a method that spatially ensembles neighboring feature map points of convolutional neural networks. By simply adding a few blur layers to the models, we empirically show that spatial smoothing improves accuracy, uncertainty estimation, and robustness of BNNs across a whole range of ensemble sizes. In particular, BNNs incorporating spatial smoothing achieve high predictive performance merely with a handful of ensembles. Moreover, this method also can be applied to canonical deterministic neural networks to improve the performances. A number of evidences suggest that the improvements can be attributed to the stabilized feature maps and the smoothing of the loss landscape. In addition, we provide a fundamental explanation for prior works - namely, global average pooling, pre-activation, and ReLU6 - by addressing them as special cases of spatial smoothing. These not only enhance accuracy, but also improve uncertainty estimation and robustness by making the loss landscape smoother in the same manner as spatial smoothing. The code is available at https://github.com/xxxnell/spatial-smoothing.

研究の動機と目的

• ベイジアンニューラルネットワーク（BNNs）の高い計算コストを解消すること。BNNsは信頼性のある性能を得るためには大きなアンサンブルサイズ（例：50）を必要とする。
• 推論コストを増加させることなく、BNNsにおける予測性能、不確実性推定、耐性性能を向上させること。
• 必要なアンサンブルメンバー数を削減することで、BNNsの実世界応用への効率的導入を可能にすること。
• 空間平滑化により、決定的ニューラルネットワークに対してもアンサンブルに類似した挙動の恩恵をもたらすこと。
• 既存のアーキテクチャ的要素（例：グローバル平均プーリング、ReLU6、プレアクティベーション）を空間平滑化の特殊ケースとして統一的に理解すること。

提案手法

• 空間平滑化を、特徴マップに空間的ぼかしを適用することで、隣接する特徴点の局所的アンサンブルを効果的に生成する手法として導入する。
• ぼかし層をネットワークアーキテクチャに統合し、特徴表現の滑らかさを向上させ、予測の安定化を図る。
• 特徴マップ活性化の上にベルヌーイ分布をモデル化するProbを用いて、確率的推論と空間平滑化を組み合わせる。ガウス分布を仮定しない。
• ProbとBlurの組み合わせにより、明示的なサンプリングを避けてアンサンブル平均を近似し、計算コストを削減する。
• 空間平滑化がベイジアンネットワークおよび決定的ネットワークの両方へ適用可能であり、複数のベンチマークで性能向上を示すことを実証する。
• プレアクティベーション、ReLU6、グローバル平均プーリングといった既存の要素が、空間平滑化の特殊ケースとして再解釈され、それらの成功が局所的アンサンブル行動の観点から説明可能であることを示す。

実験結果

リサーチクエスチョン

• RQ1 空間平滑化は、ベイジアンニューラルネットワークにおける高精度な予測性能を達成するために必要なアンサンブルメンバー数を削減できるか？
• RQ2 空間平滑化は、深層ニューラルネットワークにおける不確実性推定と耐性性能をどのように向上させるか？
• RQ3 特徴マップの安定化と損失関数の滑らかさが、空間平滑化による性能向上に果たす役割は何か？
• RQ4 空間平滑化は、決定的ニューラルネットワークへ適用可能であり、精度と不確実性の向上を同様に達成できるか？
• RQ5 プレアクティベーションやグローバル平均プーリングといった既存のアーキテクチャ的要素は、本質的に空間平滑化と同等であるか？

主な発見

• 空間平滑化により、ベイジアンニューラルネットワークが4〜8個のアンサンブルメンバーで高精度な予測性能を達成可能となり、従来の50個以上のメンバーを必要とする標準BNNと比較して、計算コストを顕著に削減できる。
• 相対的信頼度指標を用いた分析により、汚染されたデータ（例：CIFAR-10-P）でも不確実性のキャリブレーションと耐性性能が向上し、誤った予測に対して過信の度合いが低下していることが示された。
• 空間平滑化は、決定的ネットワークおよびベイジアンU-Netモデルの両方において、セマンティックセグメンテーションタスク（例：CamVidデータセット）で精度、不確実性、一貫性が向上した。
• ぼかし処理のみでは情報損失により性能が低下するが、活性化の上にベルヌーイ分布をモデル化するProbと組み合わせることで、性能が顕著に向上する。
• プレアクティベーション、ReLU6、グローバル平均プーリングが空間平滑化の特殊ケースとして示され、それらの成功が局所的アンサンブル行動の観点から説明可能であることが明らかになった。
• 空間平滑化と先行研究の時間的平滑化の組み合わせにより、特にデータストリーム環境下で、予測性能と計算コストの両面で最良の性能が得られた。