[論文レビュー] FiLM-Ensemble: Probabilistic Deep Learning via Feature-wise Linear Modulation

Mehmet Özgür Türkoglu, Alexander Becker+7 more|arXiv (Cornell University)|May 31, 2022

Adversarial Robustness in Machine Learning被引用数 14

ひとこと要約

FiLM-Ensemble は、1つのネットワーク内で特徴量ごとの線形調制（FiLM）を用いて多様なモデルメンバーを生成することで、計算効率が良く、暗黙的かつアンサンブル化された確率的ディープラーニング手法を提案する。可学習パラメータで活性化を調制することにより、明示的アンサンブルとほぼ同等の不確実性推定を達成しながら、メモリと計算量のわずかな割合で実現し、キャリブレーションおよび予測性能において他の暗黙的アンサンブル手法を上回る。

ABSTRACT

The ability to estimate epistemic uncertainty is often crucial when deploying machine learning in the real world, but modern methods often produce overconfident, uncalibrated uncertainty predictions. A common approach to quantify epistemic uncertainty, usable across a wide class of prediction models, is to train a model ensemble. In a naive implementation, the ensemble approach has high computational cost and high memory demand. This challenges in particular modern deep learning, where even a single deep network is already demanding in terms of compute and memory, and has given rise to a number of attempts to emulate the model ensemble without actually instantiating separate ensemble members. We introduce FiLM-Ensemble, a deep, implicit ensemble method based on the concept of Feature-wise Linear Modulation (FiLM). That technique was originally developed for multi-task learning, with the aim of decoupling different tasks. We show that the idea can be extended to uncertainty quantification: by modulating the network activations of a single deep network with FiLM, one obtains a model ensemble with high diversity, and consequently well-calibrated estimates of epistemic uncertainty, with low computational overhead in comparison. Empirically, FiLM-Ensemble outperforms other implicit ensemble methods, and it and comes very close to the upper bound of an explicit ensemble of networks (sometimes even beating it), at a fraction of the memory cost.

研究の動機と目的

• 実世界のデプロイにおいて、明示的ディープアンサンブルの高い計算コストとメモリ消費を緩和すること。
• 推論やトレーニングのオーバーヘッドを著しく増加させることなく、ディープニューラルネットワークの不確実性キャリブレーションを改善すること。
• マルチタスク学習で元々使われた特徴量ごとの線形調制（FiLM）が、暗黙的かつ多様でキャリブレーションされたモデルメンバーを生成できるかどうかを検証すること。
• 明示的アンサンブルと同等またはそれを上回る性能を達成しながら、リソース要件を著しく削減する手法を開発すること。

提案手法

• 複数のFiLMモジュールを備えた1つの共有ディープニューラルネットワークを用いる。各FiLMモジュールは、活性化に可学習スケールおよびシフトパラメータを適用する。
• 各FiLMモジュールは独立したモデルメンバーとして機能し、異なる調制パラメータにより多様な予測を生成する。
• すべてのネットワーク重みはメンバー間で共有されるが、FiLMパラメータのみが各メンバーごとに別々に学習されるため、追加パラメータが最小限に抑えられる。
• 複数の異なる調制ベクトルを用いたFiLM調制付きの順伝播の予測を集約することでアンサンブルを形成する。
• 別々のネットワークを保存・計算する必要がないため、モデル空間におけるモンテカルロサンプリングを暗黙的に実現できる。
• 標準的なトレーニング手順と互換性があり、ResNetを含むさまざまなアーキテクチャに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 特徴量ごとの線形調制（FiLM）を用いて、計算オーバーヘッドを最小限に抑えながら、暗黙的かつ多様なディープニューラルネットワークアンサンブルを生成できるか？
• RQ2 FiLM-Ensemble の不確実性キャリブレーションは、明示的ディープアンサンブルおよび他の暗黙的アンサンブル手法と比べてどの程度か？
• RQ3 FiLM-Ensemble は、はるかに少ないメモリと計算量を用いて、明示的アンサンブルと同等またはそれを上回る予測性能および不確実性キャリブレーションを達成できるか？
• RQ4 FiLM を用いたアンサンブル作成の手法は、さまざまなアーキテクチャおよびデータセットに一般化可能か？

主な発見

• FiLM-Ensemble は、画像分類ベンチマークにおいて特に顕著に、明示的ディープアンサンブルと同等またはそれを上回る不確実性キャリブレーションと予測性能を達成する。
• 明示的アンサンブル16ネットワークと比較して、メモリコストを16倍まで削減しながら、キャリブレーション指標を維持または向上させる。
• CIFAR-10 および CIFAR-100 において、FiLM-Ensemble は、BatchEnsemble や MIMO といった他の暗黙的アンサンブル手法を、精度および不確実性キャリブレーションの両面で上回る。
• 分布シフト下でも強力な一般化性能を示し、不確実性推定が予測誤差率を信頼性高く反映する。
• ResNet-18 を含むさまざまなネットワークアーキテクチャにおいてもロバスト性を示し、FiLM調制によりアンサンブルメンバー間の多様性が高く維持される。
• 実験的結果から、一部の設定では明示的アンサンブルよりも優れたエピステミック不確実性推定が得られることが示され、モデルの多様性および一般化性能に潜在的な利点があると考えられる。