[논문 리뷰] Interpreting and Boosting Dropout from a Game-Theoretic View

Zhang, Hao, Sen Li외 4명|arXiv (Cornell University)|2020. 09. 24.

Adversarial Robustness in Machine Learning참고 문헌 33인용 수 7

한 줄 요약

이 논문은 드롭아웃을 게임 이론적 관점에서 해석하여, 딥 네ural 네트워크(DNN)에서 특성 상호작용 강도를 억제함으로써 과적합과 관련이 있음을 증명한다. 과적합을 줄이기 위해 고차 상호작용을 명시적으로 페널라이징하는 상호작용 손실을 제안하며, 드롭아웃보다 제어 가능한 정규화와 배치 정규화와의 호환성을 통해 더 깊은 네트워크에서 뛰어난 성능을 발휘한다.

ABSTRACT

This paper aims to understand and improve the utility of the dropout operation from the perspective of game-theoretic interactions. We prove that dropout can suppress the strength of interactions between input variables of deep neural networks (DNNs). The theoretic proof is also verified by various experiments. Furthermore, we find that such interactions were strongly related to the over-fitting problem in deep learning. Thus, the utility of dropout can be regarded as decreasing interactions to alleviate the significance of over-fitting. Based on this understanding, we propose an interaction loss to further improve the utility of dropout. Experimental results have shown that the interaction loss can effectively improve the utility of dropout and boost the performance of DNNs.

연구 동기 및 목표

• 입력 특성 간의 게임 이론적 상호작용을 통해 드롭아웃의 정규화 메커니즘을 이해하기 위해.
• DNN에서 특성 상호작용과 과적합 문제 간의 관계를 조사하기 위해.
• 일반화를 향상시키기 위해 상호작용 강도를 명시적으로 제어하는 새로운 정규화 방법—상호작용 손실—을 개발하기 위해.
• 상호작용 손실이 배치 정규화와의 호환성에서 드롭아웃보다 성능 면에서 뛰어나다는 것을 입증하기 위해.

제안 방법

• 논문은 게임 이론의 셰플리 값(Shapley values)을 사용해 특성 상호작용을 정의하며, 다른 변수가 마스킹될 때 한 입력 변수의 중요도가 어떻게 변화하는지를 측정한다.
• 수학적으로 드롭아웃이 확률 0.5로 특성을 독립적으로 샘플링함으로써 상호작용 강도를 감소시킴을 증명하며, 이는 반바즈프 값(Banzhaf value) 계산과 수학적으로 동치임을 보인다.
• 고차 상호작용을 훈련 중에 명시적으로 페널라이징하기 위해 상호작용 손실을 제안하며, 정규화 강도를 제어하기 위한 하이퍼파rameter λ를 사용한다.
• 상호작용 손실은 상호작용이 가장 영향을 미치는 저수준의 컨볼루션 특성에 적용되며, 배치 정규화와 호환됨을 보여준다.
• 전체 상호작용을 순서별 구성요소로 분해하고, 강하게 상호작용하는 입력 영역을 시각화한다.
• 실험은 여러 데이터셋(CIFAR-10, Tiny ImageNet, CelebA)과 아키텍처(AlexNet, VGG, ResNet)에서 상호작용 손실과 드롭아웃을 비교한다.

실험 결과

연구 질문

• RQ1 드롭아웃은 딥 네럴 네트워크에서 입력 특성 간의 상호작용 강도에 어떻게 영향을 미치는가?
• RQ2 DNN에서 특성 상호작용과 과적합 문제 간의 관계는 무엇인가?
• RQ3 상호작용 강도를 명시적으로 제어하는 정규화 방법을 설계할 수 있는가?
• RQ4 상호작용 손실은 성능과 배치 정규화 호환성 면에서 드롭아웃보다 어떻게 비교되는가?

주요 결과

• 드롭아웃은 특성을 확률 0.5로 독립적으로 샘플링함으로써 입력 특성 간의 상호작용 강도를 감소시키며, 이는 반바즈프 값 계산과 수학적으로 동치이다.
• 과적합된 샘플은 깨끗한 샘플보다 훨씬 강한 특성 상호작용을 보이며, 고차 상호작용과 과적합 간의 연관성을 확인한다.
• 상호작용 손실은 ResNet-18에서 드롭아웃을 능가하며, Tiny ImageNet에서 94.6%의 정확도를 기록했고 드롭아웃의 92.1%를 상회했으며, CelebA에서는 92.1% 대비 드롭아웃의 91.5%를 기록했다.
• λ를 적절히 튜닝할 경우, 상호작용 손실은 모든 평가된 모델과 데이터셋에서 드롭아웃보다 높은 테스트 정확도를 달성한다.
• 상호작용 손실은 드롭아웃과 달리 배치 정규화와 호환되며, 배치 정규화와 함께 사용할 경우 드롭아웃은 Tiny ImageNet에서 1.4% 감소하고 CelebA에서는 0.6% 감소하는 것으로 나타났다.
• 손실이 고수준의 완전히 연결된 레이어가 아닌 저수준의 컨볼루션 특성에 적용될 때 상호작용 억제가 가장 효과적이다.