[논문 리뷰] Anti-Distillation: Improving reproducibility of deep networks

Gil I. Shamir, Lorenzo Coviello|arXiv (Cornell University)|2020. 10. 19.

Machine Learning and Data Classification참고 문헌 31인용 수 6

한 줄 요약

이 논문은 딥 네트워크의 재현 가능성을 향상시키기 위해 훈련 중에 앙상블 구성 요소들이 분리되도록 유도하는 Anti-Distillation (AD) 방법을 제안한다. 이는 훈련 중에 로짓의 상관관계를 제거함으로써 이루어지며, 정확도를 훼손하지 않은 채 동일한 모델 간 예측 차이를 줄인다. 이로 인해 벤치마크 및 실제 데이터셋에서 예측 차이가 최대 75% 감소하였다.

ABSTRACT

Deep networks have been revolutionary in improving performance of machine learning and artificial intelligence systems. Their high prediction accuracy, however, comes at a price of \emph{model irreproducibility\/} in very high levels that do not occur with classical linear models. Two models, even if they are supposedly identical, with identical architecture and identical trained parameter sets, and that are trained on the same set of training examples, while possibly providing identical average prediction accuracies, may predict very differently on individual, previously unseen, examples. \emph{Prediction differences\/} may be as large as the order of magnitude of the predictions themselves. Ensembles have been shown to somewhat mitigate this behavior, but without an extra push, may not be utilizing their full potential. In this work, a novel approach, \emph{Anti-Distillation\/}, is proposed to address irreproducibility in deep networks, where ensemble models are used to generate predictions. Anti-Distillation forces ensemble components away from one another by techniques like de-correlating their outputs over mini-batches of examples, forcing them to become even more different and more diverse. Doing so enhances the benefit of ensembles, making the final predictions more reproducible. Empirical results demonstrate substantial prediction difference reductions achieved by Anti-Distillation on benchmark and real datasets.

연구 동기 및 목표

• 동일한 데이터에서 훈련된 동일한 모델이 개별 예측에서 크게 다른 결과를 내는 딥 네트워크의 높은 재현 불가능성 문제를 해결하기 위해.
• 의료와 같이 안전이 중요한 분야에서 예측이 일관되지 않아서 돌이킬 수 없는 결과를 초래할 수 있는 딥 러닝 모델의 신뢰성 향상을 위해.
• 표준 평균화를 넘어서 앙상블 구성 요소 간 다양성을 늘림으로써 앙상블 성능을 향상시키기 위해.
• 딥 네트워크의 높은 정확도를 유지하면서 재현 가능성을 향상시키는 훈련 기법을 개발하기 위해.
• Anti-Distillation을 통해 앙상블 출력을 상관관계 없애는 것이 정확도를 떨어뜨리지 않고도 예측 차이를 줄이는지 경험적으로 검증하기 위해.

제안 방법

• Anti-Distillation은 미니배치 단위로 앙상블 구성 요소의 로짓 간 상관관계를 줄이는 정규화 손실을 도입하여 그들의 예측 다양성을 증진시킨다.
• 이 방법은 앙상블 멤버의 로짓에 상관관계 손실를 적용하며, 하이퍼파rameter λ가 상관관계 감소 강도를 제어한다.
• AD 손실의 세 가지 변형이 평가되었으며, 각각 로짓에 대한 상관계수 손실(L_AD(C_z))·공분산 손실(L_AD(Σ_z))·기반 차이 손실(L′_AD)이다.
• 모델 아키텍처나 추론 방식에 변화 없이 표준 최적화 기법(예: AdaGrad)을 사용해 훈련 중에 이 기법을 적용한다.
• 일관된 초기화를 위해 의사난수 시드를 사용하고, 이 방법은 MNIST와 대규모 실생활 CTR 예측 데이터 모두에서 테스트되었다.
• 재현 가능성과 성능을 정량화하기 위해 예측 차이(PD), 상대적 PD(Δ̃₁^r), 로그 손실, 랭킹 손실 등의 지표를 사용해 평가되었다.

실험 결과

연구 질문

• RQ1 앙상블 구성 요소의 출력을 상관관계 없애는 것이 동일한 딥 네트워크 간 예측 차이를 줄일 수 있는가?
• RQ2 Anti-Distillation은 정확도를 떨어뜨리거나 훈련 손실을 증가시키지 않고 재현 가능성을 향상시킬 수 있는가?
• RQ3 AD 정규화 강도(λ)의 크기가 예측 차이와 모델 성능에 어떤 영향을 미치는가?
• RQ4 로짓에 AD를 적용하는 것이 확률에 적용하는 것보다 더 나은 재현 가능성 향상을 가져오는가?
• RQ5 온라인 CTR 예측과 같은 대규모 실생활 딥 러닝 시스템에서 AD가 상당한 PD 감소를 달성할 수 있는가?

주요 결과

• MNIST에서 Anti-Distillation은 정확도에 손실 없이 PD를 최대 75%까지 감소시켰으며, 중간 수준의 λ 값에서도 동일한 효과를 보였다.
• 2개의 앙상블 구성 요소만으로도 AD를 적용한 결과가 AD 없이 8개의 구성 요소를 사용한 것보다 더 나은 PD 성능을 보였으며, 이는 AD로 유도된 다양성이 앙상블 크기 자체를 초월함을 시사한다.
• 실생활 CTR 예측 데이터에서는 단일 모델일 경우 PD가 11.25%에서 3개 구성 요소 앙상블로는 6.5%로 감소했고, AD 적용 및 λ=5일 경우 2.88%로 추가로 감소하였다.
• 로짓에 AD를 적용하면 PD가 크게 감소했으나, 확률에 적용했을 경우는 개선이 없었으며, 이는 출력층 선택의 중요성을 보여준다.
• 입력 초기화 분산의 크기(s)를 늘리면 PD가 감소했지만 수익 감소 효과를 보였고, 높은 λ 값은 PD를 향상시켰지만 정확도를 떨어뜨렸다.
• 공분산 및 기반 차이 손실은 상관계수 손실에 비해 PD 향상 효과가 떨어졌으며, 후자는 랭킹 손실 성능도 유지했다.