[논문 리뷰] Deep Deterministic Information Bottleneck with Matrix-based Entropy Functional

Xi Yu, Shujian Yu외 1명|arXiv (Cornell University)|2021. 01. 31.

Adversarial Robustness in Machine Learning참고 문헌 35인용 수 6

한 줄 요약

이 논문은 변분 추론이나 분포 가정 없이 딥 네ural 네트워크에서 정보 볼팅 원리(Information Bottleneck principle)를 직접 최적화할 수 있도록 행렬 기반의 레니(Rényi) α-순서 엔트로피 기능을 사용하는 새로운 방법인 딥 디터미니스틱 인포메이션 볼팅(DIB)을 제안한다. DIB는 MNIST 및 CIFAR-10에서 VIB 및 기타 정규화 방법보다 우수한 일반화 성능과 강건성을 보이며, 특히 적대적 공격 상황에서도 뛰어난 성능을 발휘한다.

ABSTRACT

We introduce the matrix-based Renyi's $α$-order entropy functional to parameterize Tishby et al. information bottleneck (IB) principle with a neural network. We term our methodology Deep Deterministic Information Bottleneck (DIB), as it avoids variational inference and distribution assumption. We show that deep neural networks trained with DIB outperform the variational objective counterpart and those that are trained with other forms of regularization, in terms of generalization performance and robustness to adversarial attack.Code available at https://github.com/yuxi120407/DIB

연구 동기 및 목표

• 고차원 딥 러닝에서 상호정보량을 계산하는 데 있어 변분 추론을 대체할 수 있는 결정론적이고 미분 가능한 엔트로피 추정기로 문제를 해결하기 위해.
• 새로운 행렬 기반의 레니(Rényi) α-순서 엔트로피 기능을 사용하여 딥 네럴 네트워크에서 정보 볼팅 원리를 직접 최적화하기 위해.
• 기존의 변분 기반 및 정규화 기반 방법과 비교해 모델의 일반화 성능과 적대적 공격에 대한 강건성을 향상시키기 위해.
• 정보 볼팅 목적 함수의 결정론적 매개변수화가 표현 학습에서 뛰어난 성능을 낼 수 있음을 보여주기 위해.

제안 방법

• 핵심은 커널 임bedded된 데이터 쌍에서 생성된 정규화된 그램 행렬의 고유값을 통해 정의된 행렬 기반의 레니(Rényi) α-순서 엔트로피 기능이다.
• 이 엔트로피 기능은 미분 가능하므로 변분 근사 없이 정보 볼팅 목적 함수를 통해 엔드 투 엔드 백프로파게이션을 가능하게 한다.
• 정보 볼팅 라그랑지안은 변분 하한에서 사용된 것과는 달리 결정론적 엔트로피 추정기를 사용하여 직접 최적화된다.
• 정보 볼팅의 브로드캐스트 레이어를 표현 T로 간주하고, 상호정보량 항은 행렬 기반 엔트로피 기능을 통해 계산된다.
• 분포 가정과 변분 추론을 피함으로써 딥 네트워크의 정보 볼팅 원리에 기반한 직접 학습이 가능해진다.
• 표준 딥 러닝 아키텍처(예: MNIST용 784-1024-1024-256-10, CIFAR-10용 VGG16)를 사용하여 Adam/SGD 최적화로 구현된다.

실험 결과

연구 질문

• RQ1 정보 볼팅 프레임워크에서 딥 러닝에 대해 변분 추론을 대체할 수 있는 결정론적이고 미분 가능한 엔트로피 추정기가 가능한가?
• RQ2 행렬 기반의 레니 엔트로피를 사용해 정보 볼팅 목적 함수를 직접 최적화하면 VIB 및 기타 정규화 방법과 비교해 일반화 성능과 강건성이 향상되는가?
• RQ3 분포 가정 없이도 행렬 기반의 레니 엔트로피 기능이 딥 네럴 네트워크의 훈련에 효과적으로 사용될 수 있는가?
• RQ4 적대적 공격 상황에서 DIB의 성능은 VIB 및 표준 정규화 기법과 비교해 어떻게 되는가?

주요 결과

• MNIST에서 DIB는 테스트 오차 1.13%를 기록하여 VIB(1.17%) 및 기타 정규화 방법을 능가했다.
• CIFAR-10에서 DIB는 VGG16을 사용해 테스트 오차를 5.66%로 줄였으며, 베이스라인 VGG16(7.36%) 및 VIB(9.31%)를 모두 초월했다.
• DIB는 FGSM 적대적 공격에 대해 특히 뛰어난 강건성을 보였으며, CIFAR-10에서 VIB, 레이블 스무딩, 신뢰도 페널티보다 뛰어난 성능을 보였다.
• DIB로 훈련된 모델은 일반화 오차가 감소하고 적대적 강건성이 향상되어 표현 품질 향상이 확인되었다.
• 행렬 기반의 레니 엔트로피 기능은 미분 가능하고 엔드 투 엔드 학습에 적합하여 직접 정보 볼팅 최적화가 가능했다.
• 놀랍게도 동일한 설정에서 VIB는 CIFAR-10에서 성능 향상을 보이지 않았지만, DIB는 뚜렷한 성능 향상을 기록했다.