[論文レビュー] Joint Training of Deep Ensembles Fails Due to Learner Collusion

Alan Jeffares, Tennison Liu+2 more|arXiv (Cornell University)|Jan 26, 2023

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

この論文は、『学習者同調』と呼ばれる現象が原因で、深層アンサンブルの共同学習が失敗することを示している。この現象では、ベースモデルが予測空間における多様性を意図的に高めることでアンサンブル損失を最小化しようとするが、その結果、一般化性能が著しく低下する。真のアンサンブル目的を最適化しているにもかかわらず、この同調は独立学習よりも大きな一般化ギャップを引き起こし、実際の応用では依然として独立学習がより効果的である。

ABSTRACT

Ensembles of machine learning models have been well established as a powerful method of improving performance over a single model. Traditionally, ensembling algorithms train their base learners independently or sequentially with the goal of optimizing their joint performance. In the case of deep ensembles of neural networks, we are provided with the opportunity to directly optimize the true objective: the joint performance of the ensemble as a whole. Surprisingly, however, directly minimizing the loss of the ensemble appears to rarely be applied in practice. Instead, most previous research trains individual models independently with ensembling performed post hoc. In this work, we show that this is for good reason - joint optimization of ensemble loss results in degenerate behavior. We approach this problem by decomposing the ensemble objective into the strength of the base learners and the diversity between them. We discover that joint optimization results in a phenomenon in which base learners collude to artificially inflate their apparent diversity. This pseudo-diversity fails to generalize beyond the training data, causing a larger generalization gap. We proceed to comprehensively demonstrate the practical implications of this effect on a range of standard machine learning tasks and architectures by smoothly interpolating between independent training and joint optimization.

研究の動機と目的

• 共同最適化された深層アンサンブルモデルが、真のアンサンブル目的を最適化しているにもかかわらず、独立学習よりも性能が悪い理由を調査すること。
• 共同学習されたアンサンブルにおける一般化性能の劣化の根本的要因を特定すること、特に人工的多様性の役割を特定すること。
• アンサンブル目的を個々のモデルの性能と多様性項に明示的に分解することで、劣化行動のメカニズムを解明すること。
• 標準的なベンチマークとアーキテクチャ上での学習者同調の存在と影響を実験的に検証すること。
• 学習者ドロップアウトなどの代替策を検討し、その問題緩和への限界を示すこと。

提案手法

• 著者らは、2次テイラー展開を用いて、共同アンサンブル損失を個々のモデル損失と多様性項に分解し、共同学習と独立学習の目的の関係を形式化する。
• 独立学習（β=0）から完全な共同最適化（β=1）への滑らかな補間を可能にするスカラー重みハイパーパrameter βを導入し、学習体制の制御的分析を可能にする。
• 多様性項は、共同学習と独立学習の目的の差分として定義され、学習者間の不一致が全体の損失に与える寄与度を定量化する。
• 学習者同調は、予測が互いに反対方向にずれることで、表面的な多様性を増加させつつもアンサンブル出力を維持することで、多様性項を悪用する戦略として診断される。
• CIFAR-10やSVHNなどの複数のデータセットと、ResNet-18やVGGなどの複数のアーキテクチャで実験を行い、βの変化に伴う一般化ギャップ、多様性スコア、テスト誤差を測定する。
• ドロップアウトに基づく緩和戦略を評価し、各バッチでランダムに一部のモデルを無効化することで同調を妨げるが、ブートストラップ効果により性能が低下することが示された。

Figure 2 : Diversity explosion. Test set diversity explodes relative to MSE across four datasets. We note two further empirical phenomena: (1) the non-linear relationship between $\beta$ and diversity which we discuss further in Appendix D and (2) the minimal effect diversity has on the test MSE on

実験結果

リサーチクエスチョン

• RQ1 共同学習された深層アンサンブルが、真のアンサンブル目的を最適化しているにもかかわらず、なぜ一般化に失敗するのか？
• RQ2 共同学習されたアンサンブルと独立学習されたアンサンブルとの間に性能劣化が生じる具体的なメカニズムは何か？
• RQ3 ベース学習者間の人工的同調によって、アンサンブル損失の多様性項はどの程度操作可能か？
• RQ4 独立学習と共同学習の間の補間レベルが異なる場合、一般化ギャップはどのように変化するか？
• RQ5 正則化手法としての学習者ドロップアウトは、学習者同調に起因する悪影響を効果的に緩和できるか？

主な発見

• 共同学習されたアンサンブルは、真のアンサンブル目的を最適化しているにもかかわらず、独立学習よりも一般化ギャップが大きいことが判明した。
• 学習者同調が主要な失敗モードであることが明らかになった。ベースモデルが実際の一般化性能を向上させないまま、予測空間における多様性を意図的に高めている。
• アンサンブル損失における多様性項が、共同学習と独立学習の間で性能差を生じる主な要因であることが示された。
• CIFAR-10およびSVHNにおける実験から、βが1に近づくにつれて性能が単調に低下することが確認され、完全な共同最適化下では一般化性能が悪化することが示された。
• 学習者ドロップアウトは同調に起因する多様性を低減するが、同時にブートストラップ効果により個々のモデルの性能が弱まるため、性能向上の恩恵は相殺された。
• この現象は、ResNet-18やVGGといった複数のアーキテクチャおよび複数のデータセットで一貫して観察され、共同アンサンブル学習における根本的問題であることが示された。

Figure 3 : Bias removal. The percentage of diversity explained by the most simple form of learner collusion across each dataset. In the region where learner collusion appears to occur ( $\beta\to 1$ ), a large proportion of the diversity can be explained by simple additive bias in the predictions.