[논문 리뷰] Decoupled Kullback-Leibler Divergence Loss

Jiequan Cui, Zhuotao Tian외 4명|arXiv (Cornell University)|2023. 05. 23.

Adversarial Robustness in Machine Learning인용 수 18

한 줄 요약

이 논문은 KL 손실이 가중된 MSE와 소프트 라벨을 갖는 교차 엔트로피로 구성된 분리형 형태(DKL)와 동등하며, 비대칭을 깨고 글로벌 정보를 추가하여 IKL을 제안함으로써 적대적 학습과 지식 증류에서 최첨단 결과를 달성한다.

ABSTRACT

In this paper, we delve deeper into the Kullback-Leibler (KL) Divergence loss and mathematically prove that it is equivalent to the Decoupled Kullback-Leibler (DKL) Divergence loss that consists of 1) a weighted Mean Square Error (wMSE) loss and 2) a Cross-Entropy loss incorporating soft labels. Thanks to the decomposed formulation of DKL loss, we have identified two areas for improvement. Firstly, we address the limitation of KL/DKL in scenarios like knowledge distillation by breaking its asymmetric optimization property. This modification ensures that the $\mathbf{w}$MSE component is always effective during training, providing extra constructive cues. Secondly, we introduce class-wise global information into KL/DKL to mitigate bias from individual samples. With these two enhancements, we derive the Improved Kullback-Leibler (IKL) Divergence loss and evaluate its effectiveness by conducting experiments on CIFAR-10/100 and ImageNet datasets, focusing on adversarial training, and knowledge distillation tasks. The proposed approach achieves new state-of-the-art adversarial robustness on the public leaderboard -- RobustBench and competitive performance on knowledge distillation, demonstrating the substantial practical merits. Our code is available at https://github.com/jiequancui/DKL.

연구 동기 및 목표

• KL 발산의 그래디언트 최적화 메커니즘을 설명하고 그것의 Decoupled Kullback-Leibler (DKL) 손실과의 등식을 보여라.
• DKL의 비대칭성과 글로벌 맥락의 부족에서의 한계점을 식별하고, 특히 지식 증류에서의 한계를 지적한다.
• 비대칭성을 깨고 글로벌 정보를 도입하여 Improved Kullback-Leibler (IKL) 손실을 형성하는 개선점을 제안한다.
• CIFAR-10/100 및 ImageNet에서 적대적 학습과 지식 증류 실험을 통해 IKL의 효과를 입증한다.

제안 방법

• KL 발산을 가중된 MSE 항과 소프트 레이블을 갖는 교차 엔트로피 항으로 구성된 Decoupled Kullback-Leibler (DKL) 손실로 재정의한다.
• DKL은 입력 간 비대칭적 그래디언트 흐름을 가질 수 있어 학습 중 wMSE 구성요소를 감소시킬 수 있음을 보인다.
• (i) 비대칭을 깨서 두 손실 항 모두 최적화에 기여하도록 하고 (ii) 글로벌(클래스별) 정보를 정규화로 도입하여 IKL을 제시한다.
• 가중 MSE에 글로벌 정보를 주입하기 위해 각 실제 클래스에 대한 평균 예측치를 사용하여 클래스별 가중치를 정의한다.
• CIFAR-10/100 및 ImageNet 전반에 걸친 적대적 학습 및 지식 증류 과제에 대해 IKL을 실험적으로 평가한다.

실험 결과

연구 질문

• RQ1 KL 발산은 그래디언트 기반 최적화하에서 어떻게 작동하며, 일반성의 손실 없이 보완적 구성요소(wMSE와 교차 엔트로피)로 분해될 수 있는가?
• RQ2 그래디언트 비대칭성으로 인한 지식 증류와 같은 훈련 시나리오에서 DKL 구성의 한계는 무엇인가?
• RQ3 비대칭을 깨고 글로벌 정보를 추가하는 것이 적대적 학습과 지식 증류에서 성능을 향상시킬 수 있는가?
• RQ4 제안된 IKL 손실이 목표 작업에서 CIFAR-10/100 및 ImageNet에 대해 최첨단 결과를 낳는가?

주요 결과

• KL 손실은 가중된 MSE 손실과 소프트 레이블을 갖는 교차 엔트로피 손실로 구성된 분리형(DKL) 형태와 수학적으로 등가이다.
• DKL 최적화는 입력에 대해 비대칭적이며, 이는 지식 증류와 같은 시나리오에서 wMSE 구성요소가 간과될 수 있다.
• IKL은 비대칭을 깨고 글로벌 정보를 도입하여 클래스 내 일관성을 개선한다.
• 실험 결과 IKL이 CIFAR-10/100 및 ImageNet에서 적대적 학습 및 지식 증류에 대해 새로운 최첨단 결과를 달성한다.