[논문 리뷰] Deep Variational Information Bottleneck

Alexander A. Alemi, Ian Fischer외 2명|arXiv (Cornell University)|2016. 12. 01.

Adversarial Robustness in Machine Learning참고 문헌 38인용 수 367

한 줄 요약

이 논문은 신경망에 대한 정보 병목점에 대한 변분 근사를 도입하여 Deep VIB 훈련을 가능하게 하며 일반화와 적대적 공격에 대한 강인성을 향상시킨다.

ABSTRACT

We present a variational approximation to the information bottleneck of Tishby et al. (1999). This variational approach allows us to parameterize the information bottleneck model using a neural network and leverage the reparameterization trick for efficient training. We call this method "Deep Variational Information Bottleneck", or Deep VIB. We show that models trained with the VIB objective outperform those that are trained with other forms of regularization, in terms of generalization performance and robustness to adversarial attack.

연구 동기 및 목표

• 심층 네트워크용 정보 병목점 목표에 대한 변분 경계를 도입한다.
• 신경망으로 IB 목표를 매개화하고 reparameterization trick으로 최적화한다.
• VIB가 일반화와 적대적 섭동에 대한 강인성을 개선함을 보인다.

제안 방법

• 정보 병목점 목표를 I(Z,Y) - β I(Z,X)로 형식화한다.
• Z를 확률적 인코딩 p(z|x)로 모델링하고 변분 디코더 q(y|z)를 사용한다.
• SGD로 최적화할 수 있는 계산 가능한 하한 L을 도출한다.
• 재매개화 트릭을 적용하여 z를 샘플링하고 확률적 노드를 통해 역전파한다.
• I(Z,X)를 bound하기 위해 변분 사전 r(z)를 사용하고 목적식에 KL항을 얻는다.
• MNIST와 ImageNet에서 결정론적 기준선과 비교하기 위해 신경망 인코더/디코더를 실험한다.

실험 결과

연구 질문

• RQ1 변분 추론이 심층 네트워크를 위한 정보 병목점의 확장 가능한 최적화를 제공할 수 있는가?
• RQ2 VIB 목표로의 학습이 일반화에 있어 정규화 기준선보다 향상되는가?
• RQ3 VIB 프레임워크가 표준 학습보다 적대적 섭동에 더 강인한가?
• RQ4 β가 병목의 정보와 예측 성능에 어떤 영향을 미치는가?

주요 결과

모델	오차
Baseline	1.38%
Dropout	1.34%
Dropout (Pereyra et al., 2017)	1.40%
Confidence Penalty	1.36%
Confidence Penalty (Pereyra et al., 2017)	1.17%
Label Smoothing	1.40%
Label Smoothing (Pereyra et al., 2017)	1.23%
VIB (β=10^{-3})	1.13%

• VIB는 다수의 정규화 기준선에 비해 순열 불변 MNIST에서 더 낮은 테스트 오차(1.13%)를 달성한다.
• β를 중간 범위로 설정하면 z에 대한 몬테카를로 평균화가 정확도를 희생하지 않고 강인성을 향상시킨다.
• VIB 모델은 FGS 및 L2 최적화 공격에 대해 MNIST에서 적대적 공격에 대한 강인성이 증가했다.
• β를 증가시키면 I(Z,X)가 작아지면서도 훈련 데이터에 대한 예측 능력을 유지하여 IB 트레이드오프를 보여준다.
• ImageNet에서 VIB는 결정론적 기준선에 존재하지 않는 적대적 저항성을 보여준다.