[논문 리뷰] Training independent subnetworks for robust prediction

Marton Havasi, Rodolphe Jenatton외 6명|arXiv (Cornell University)|2020. 10. 13.

Adversarial Robustness in Machine Learning참고 문헌 21인용 수 30

한 줄 요약

이 논문은 MIMO를 소개한다, 단일 네트워크 안에 다수의 독립적인 서브네트워크를 학습시키고 그들의 앙상블 예측을 단일 순전파에서 계산하는 다중 입력 다중 출력 구성으로, 추가 계산 없이 로버스트니스와 불확실성을 향상시킨다.

ABSTRACT

Recent approaches to efficiently ensemble neural networks have shown that strong robustness and uncertainty performance can be achieved with a negligible gain in parameters over the original network. However, these methods still require multiple forward passes for prediction, leading to a significant computational cost. In this work, we show a surprising result: the benefits of using multiple predictions can be achieved `for free' under a single model's forward pass. In particular, we show that, using a multi-input multi-output (MIMO) configuration, one can utilize a single model's capacity to train multiple subnetworks that independently learn the task at hand. By ensembling the predictions made by the subnetworks, we improve model robustness without increasing compute. We observe a significant improvement in negative log-likelihood, accuracy, and calibration error on CIFAR10, CIFAR100, ImageNet, and their out-of-distribution variants compared to previous methods.

연구 동기 및 목표

• 신경망에서 강건한 불확실성 추정과 학습 분포 밖(out-of-distribution) 강건성을 촉진한다.
• 하나의 네트워크 내에서 다수의 독립적인 서브네트워크를 가능하게 하는 간단한 아키텍처 변경을 제안한다.
• 서브네트워크가 공유된 몸체 내부에서 다양하고 독립적으로 학습된 모델로 작용함을 보여준다.
• MIMO가 최소한의 추가 매개변수와 계산으로 최첨단 또는 경쟁력 있는 로버스트니스를 달성함을 보인다.

제안 방법

• 입력 레이어를 수정하여 M개의 입력을 받아들이고 이를 연결하여(concatenate) 출력 레이어를 수정하여 각 입력에 대응하는 M개의 출력을 생성합니다.
• M개의 독립적인 입력–출력 쌍을 샘플링하고 이들의 음의 로그 가능도 합의 합을 최소화하는 방식으로 학습하고, 정규화를 추가합니다.
• 테스트 시에는 같은 입력을 M번 타일링하고 M개의 출력을 평균 내어 앙상블 예측을 형성합니다.
• 서브네트워크들이 파라미터 공간의 불연속 영역을 차지함을 보여주고, 독립적으로 학습된 앙상블과 유사한 다양성을 가능하게 합니다.
• 표준 벤치마크에서 baselines(Deterministic, MC-Dropout, Naive Multihead, TreeNet, BatchEnsemble, ensembles)와 MIMO를 비교한다.
• 서브네트워크 다양성, 손실 지형, 용량(capacity), 입력/배치 반복, 입력 간 상관관계의 영향에 대한 분석을 제공한다.

실험 결과

연구 질문

• RQ1 연산량을 증가시키지 않으면서도 하나의 네트워크 내에서 다수의 독립적인 서브네트워크를 학습시키고, 로버스트니스와 불확실성 지표를 유지하거나 개선할 수 있는가?
• RQ2 서브네트워크들이 다양하고 독립적으로 학습된 모델로 작동하는가, 그리고 그 다양성은 다른 효율적인 앙상블 방법들과 어떻게 비교되는가?
• RQ3 주어진 아키텍처/데이터셋에서 개별 서브네트워크 성능과 앙상블 이득 간의 균형을 고려할 때 최적의 서브네트워크 수 M은 무엇인가?
• RQ4 입력 독립성과 아키텍처 공유가 MIMO 앙상블의 다양성과 로버스트니스에 어떤 영향을 미치는가?
• RQ5 MIMO가 단일 네트워크의 순전파 비용과 유사한 벽시계 시간(wall-clock cost)을 유지하면서 최신 수준의 로버스트니스에 접근하거나 이를 능가할 수 있는가?

주요 결과

• MIMO는 파라미터 및 FLOP 오버헤드가 거의 없는 상태에서 하나의 네트워크 내에서 다수의 다양한 서브네트워크를 동시 학습 가능하게 한다.
• 서브네트워크는 네트워크의 서로 다른 부분을 사용하고 서로 다른 국소 최적점으로 수렴하는 경향이 있어 독립적으로 학습된 앙상블과 비교할 만한 다양성 있는 예측을 초래한다.
• CIFAR10, CIFAR100, 및 ImageNet(Out-of-Distribution variants 포함) 전반에서 MIMO는 단일 순전파 하에서 기준보다 음의 로그 가능도, 정확도, 보정 오차를 개선한다.
• Wall-clock 시간 기준으로 보면, MIMO는 심층 앙상블이 달성한 최첨단 로버스트니스와 불확실성 지표에 근접하거나 도달하되 계산 비용을 증가시키지 않는다.