[論文レビュー] Deep Combinatorial Aggregation

Yuesong Shen, Daniel Cremers|arXiv (Cornell University)|Oct 12, 2022

Anomaly Detection Techniques and Applications被引用数 4

ひとこと要約

本稿では、階層的なネットワーク部品の組み合わせを通じて多様なモデル提案を統合することにより、不確実性を意識した学習を向上させる、深層アンサンブルの組み合わせ一般化であるDeep Combinatorial Aggregation (DCA) を提案する。DCAは、予測精度と不確実性推定の両面で最先端の性能を達成しており、細粒度DCAにより、カスタムトレーニングスケジュールやBatchNormの調整を必要としない新しい重み平均化手法（DCWA）が得られ、SWAと同等の性能を発揮する。

ABSTRACT

Neural networks are known to produce poor uncertainty estimations, and a variety of approaches have been proposed to remedy this issue. This includes deep ensemble, a simple and effective method that achieves state-of-the-art results for uncertainty-aware learning tasks. In this work, we explore a combinatorial generalization of deep ensemble called deep combinatorial aggregation (DCA). DCA creates multiple instances of network components and aggregates their combinations to produce diversified model proposals and predictions. DCA components can be defined at different levels of granularity. And we discovered that coarse-grain DCAs can outperform deep ensemble for uncertainty-aware learning both in terms of predictive performance and uncertainty estimation. For fine-grain DCAs, we discover that an average parameterization approach named deep combinatorial weight averaging (DCWA) can improve the baseline training. It is on par with stochastic weight averaging (SWA) but does not require any custom training schedule or adaptation of BatchNorm layers. Furthermore, we propose a consistency enforcing loss that helps the training of DCWA and modelwise DCA. We experiment on in-domain, distributional shift, and out-of-distribution image classification tasks, and empirically confirm the effectiveness of DCWA and DCA approaches.

研究の動機と目的

• 安全で重要な応用やアクティブラーニングにおけるニューラルネットワークの不確実性推定の質の低さを是正すること。
• 複数の粒度におけるネットワーク部品の組み合わせによる、深層アンサンブルの一般化を試みること。
• カスタムトレーニングスケジュールやBatchNormの調整を必要としない、一般化性能を向上させる新しい重み平均化技術（DCWA）の開発。
• 予測の一貫性と不確実性のキャリブレーションを向上させるための、一貫性を強制する損失関数の導入。
• DCAの性能を、ドメイン内、分布シフト、分布外の画像分類ベンチマークにおいて、実証的に検証すること。

提案手法

• DCAは、ネットワーク部品（例：層、ブロック、または完全なモデル）の異なるインスタンスを組み合わせる組み合わせ的アプローチにより、複数のモデル提案を構築する。
• 細粒度DCAでは、反復的トレーニングや学習率スケジューリングを必要とせず、部品インスタンス間のモデル重みの平均を計算する、Deep Combinatorial Weight Averaging (DCWA) を導入する。
• 一貫性を強制する損失は、DCAトレーニング中にモデル提案間の一致を向上させることを目的とし、精度と不確実性キャリブレーションの両方を向上させる。
• DCAは、ミニバッチごとに複数のランダムにサンプルされた部品提案の勾配を蓄積する、修正されたバックプロパゲーションスキームを用いてトレーニングされる。これにより、共同最適化が保証される。
• 本手法は複数の粒度をサポートする：層単位、トランク単位、モデル単位のDCAであり、それぞれ多様性と性能の間で異なるトレードオフを実現する。
• DCWAは標準的なクロスエントロピー損失または負の対数尤度損失とエンドツーエンドでトレーニングされ、アンサンブル推論を必要とせず単一モデルとしてデプロイ可能である。

実験結果

リサーチクエスチョン

• RQ1 深層アンサンブルの組み合わせ一般化は、標準的な深層アンサンブルを上回る不確実性推定を実現できるか？
• RQ2 DCWAを用いた細粒度DCAは、カスタムトレーニングスケジュールを必要とせず、Stochastic Weight Averaging (SWA) と同等の性能を発揮できるか？
• RQ3 一貫性を強制する損失は、DCAモデルの予測性能および不確実性キャリブレーション性能にどのように影響するか？
• RQ4 粗粒度DCAの変種（例：モデル単位DCA）は、ドメイン内、分布シフト、分布外のシナリオにおいて、深層アンサンブルを上回る性能を発揮できるか？
• RQ5 DCA部品インスタンスの数の増加が、モデル性能と計算コストに与える影響は何か？

主な発見

• モデル単位DCAはCIFAR-10で最高の正確度（94.95% ± 0.0008）と最低のNLL（0.1601 ± 0.0006）を達成し、深層アンサンブルやSWAを含むすべてのベースラインを上回った。
• 負の対数尤度損失を用いたDCWAは、93.14% ± 0.0017の正確度と0.0365 ± 0.0014のECEを達成し、優れた不確実性キャリブレーションを示した。
• 一貫性を強制する損失を適用したことで、モデル単位DCAの不確実性推定が向上し、損失を用いてトレーニングした際のECEが0.0107 ± 0.0004から0.0084 ± 0.0009に低下した。
• トランク単位DCAは深層アンサンブルよりも予測の多様性が高く、94.54% ± 0.0008の正確度と0.0080 ± 0.0011のECEを達成し、競争力のある性能を維持した。
• DCA部品インスタンスの数を2から5に増加させることで、正確度とNLLの両方で一貫した向上が見られ、計算コストと性能の間の有利なトレードオフが実証された。
• DCWAはSWAと同等の性能を発揮したが、学習率スケジューリングやBatchNormの適応を必要としないため、実装およびデプロイが容易であった。