[논문 리뷰] FiLM-Ensemble: Probabilistic Deep Learning via Feature-wise Linear Modulation

Mehmet Özgür Türkoglu, Alexander Becker외 7명|arXiv (Cornell University)|2022. 05. 31.

Adversarial Robustness in Machine Learning인용 수 14

한 줄 요약

FiLM-Ensemble는 단일 네트워크 내에서 특성별 선형 조절(FiLM)을 사용하여 계산 비용이 저렴하고 암시적인 딥 앙상블 방법을 제안한다. 활성화를 학습 가능한 파라미터로 조절함으로써, 메모리와 연산량의 일부만 사용하면서도 명시적 앙상블과 거의 동일한 불확실성 추정을 달성하며, 캘리브레이션과 예측 성능 면에서 다른 암시적 앙상블 방법을 능가한다.

ABSTRACT

The ability to estimate epistemic uncertainty is often crucial when deploying machine learning in the real world, but modern methods often produce overconfident, uncalibrated uncertainty predictions. A common approach to quantify epistemic uncertainty, usable across a wide class of prediction models, is to train a model ensemble. In a naive implementation, the ensemble approach has high computational cost and high memory demand. This challenges in particular modern deep learning, where even a single deep network is already demanding in terms of compute and memory, and has given rise to a number of attempts to emulate the model ensemble without actually instantiating separate ensemble members. We introduce FiLM-Ensemble, a deep, implicit ensemble method based on the concept of Feature-wise Linear Modulation (FiLM). That technique was originally developed for multi-task learning, with the aim of decoupling different tasks. We show that the idea can be extended to uncertainty quantification: by modulating the network activations of a single deep network with FiLM, one obtains a model ensemble with high diversity, and consequently well-calibrated estimates of epistemic uncertainty, with low computational overhead in comparison. Empirically, FiLM-Ensemble outperforms other implicit ensemble methods, and it and comes very close to the upper bound of an explicit ensemble of networks (sometimes even beating it), at a fraction of the memory cost.

연구 동기 및 목표

• 실제 환경에 구현할 때 명시적 딥 앙상블의 높은 계산 및 메모리 비용을 해결하기 위해.
• 추론 또는 훈련 오버헤드를 크게 증가시키지 않으면서 딥 신경망의 불확실성 캘리브레이션을 향상시키기 위해.
• 다양한 작업 학습에서 사용된 바 있는 특성별 선형 조절(FiLM)이 암시적으로 다양하고 캘리브레이션된 모델 멤버를 생성할 수 있는지 탐색하기 위해.
• 명시적 앙상블의 성능을 맞추거나 능가하면서 자원 요구량을 극적으로 줄이는 방법을 개발하기 위해.

제안 방법

• 이 방법은 여러 개의 FiLM 모듈을 갖춘 단일 공유 딥 신경망을 사용하며, 각 FiLM 모듈은 활성화에 대해 학습 가능한 스케일 및 시프트 파라미터를 적용한다.
• 각 FiLM 모듈은 독립적인 모델 멤버로 작동하여 서로 다른 조절 파라미터를 통해 다양한 예측을 생성한다.
• 모든 네트워크 가중치는 멤버 간에 공유되며, FiLM 파라미터만 멤버별로 별도로 훈련하므로 추가 파라미터가 최소화된다.
• 다양한 조절 벡터를 사용하여 각기 다른 FiLM 조절이 적용된 순방향 전파 결과를 종합함으로써 앙상블가 형성된다.
• 이 방법은 별도의 네트워크를 저장하거나 계산하지 않고도 모델 공간 상의 몬테카를로 샘플링을 암시적으로 가능하게 한다.
• 이 방법은 표준 훈련 절차와 호환되며, ResNet과 같은 다양한 아키텍처에 적용 가능하다.

실험 결과

연구 질문

• RQ1 특성별 선형 조절(FiLM)을 사용하여 계산 오버헤드를 최소화하면서 암시적으로 다양한 딥 신경망 앙상블을 생성할 수 있는가?
• RQ2 FiLM-Ensemble의 불확실성 캘리브레이션은 명시적 딥 앙상블 및 다른 암시적 앙상블 방법과 비교해 어떻게 되는가?
• RQ3 FiLM-Ensemble는 메모리와 계산 자원을 크게 줄였음에도 불구하고 명시적 앙상블의 예측 성능과 불확실성 캘리브레이션을 어느 정도 충족하거나 능가할 수 있는가?
• RQ4 FiLM을 사용한 앙상블 생성 방법이 다양한 아키텍처와 데이터셋에 일반화되는가?

주요 결과

• FiLM-Ensemble는 이미지 분류 벤치마크에서 명시적 딥 앙상블과 동등하거나 이를 초월하는 불확실성 캘리브레이션과 예측 성능를 달성한다.
• 16개의 네트워크로 구성된 명시적 앙상블 대비 메모리 비용을 16배 줄였으며, 캘리브레이션 지표는 유지 또는 향상시켰다.
• CIFAR-10 및 CIFAR-100에서 FiLM-Ensemble는 BatchEnsemble 및 MIMO와 같은 다른 암시적 앙상블 방법보다 정확도와 불확실성 캘리브레이션 면에서 모두 뛰어나다.
• 분포 시프트 상황에서도 강력한 일반화 성능을 보이며, 예측 오류율을 신뢰성 있게 반영하는 불확실성 추정을 제공한다.
• ResNet-18와 같은 다양한 네트워크 아키텍처에서의 성능이 우수하며, FiLM 조절을 통해 앙상블 멤버 간의 높은 다양성을 유지한다.
• 실험 결과, 일부 설정에서는 명시적 앙상블보다 더 나은 지식 불확실성 추정을 달성함으로써, 모델 다양성과 일반화 능력에서 잠재적 이점이 있음을 시사한다.