[논문 리뷰] Mixture of Robust Experts (MoRE): A Flexible Defense Against Multiple Perturbations.

Hao Cheng, Kaidi Xu외 4명|arXiv (Cornell University)|2021. 04. 21.

Adversarial Robustness in Machine Learning인용 수 3

한 줄 요약

Mixture of Robust Experts (MoRE)는 특정한 노이즈 유형이나 정상 데이터를 위한 전문화된 전문가 네트워크의 동적 앙상블을 제안한다. 이는 훈련 가능한 모듈에 의해 적응형 가중치를 할당하는 게이팅 모듈에 의해 제어된다. 게이팅 네트워크와 악성 예측에 대한 적응형 훈련을 통해 전문가 헤드를 미세조정함으로써 MoRE는 적대적 예측 및 악천후 조건과 같은 다양한 노이즈에 대해 뛰어난 강건성을 달성하며, 기울기 가로막힘 문제를 완화한다.

ABSTRACT

To tackle the susceptibility of deep neural networks to adversarial examples, the adversarial training has been proposed which provides a notion of security through an inner maximization problem presenting the first-order adversaries embedded within the outer minimization of the training loss. To generalize the adversarial robustness over different perturbation types, the adversarial training method has been augmented with the improved inner maximization presenting a union of multiple perturbations e.g., various $\ell_p$ norm-bounded perturbations. However, the improved inner maximization only enjoys limited flexibility in terms of the allowable perturbation types. In this work, through a gating mechanism, we assemble a set of expert networks, each one either adversarially trained to deal with a particular perturbation type or normally trained for boosting accuracy on clean data. The gating module assigns weights dynamically to each expert to achieve superior accuracy under various data types e.g., adversarial examples, adverse weather perturbations, and clean input. In order to deal with the obfuscated gradients issue, the training of the gating module is conducted together with fine-tuning of the last fully connected layers of expert networks through adversarial training approach. Using extensive experiments, we show that our Mixture of Robust Experts (MoRE) approach enables flexible integration of a broad range of robust experts with superior performance.

연구 동기 및 목표

• 기존의 적대적 훈련 방법이 다양한 노이즈 유형을 처리하는 데에 한계를 보이는 점을 해결하기 위해.
• 정상 데이터 정확도를 희생시키지 않고도 적대적 예측 및 악천후 조건과 같은 다양한 노이즈에 대해 강건성을 향상시키기 위해.
• 전문가 선택을 위한 게이팅 메커니즘 훈련 중 기울기 가로막힘 문제를 극복하기 위해.
• 각각 특정한 노이즈 유형이나 정상 데이터를 위한 전문가로 구성된 유연한 통합을 가능하게 하기 위해.
• 정상, 적대적, 노이즈가 가미된 입력에 대해 동적 전문가 가중치를 통해 뛰어난 성능을 달성하기 위해.

제안 방법

• 게이팅 네트워크는 입력 유형에 따라 전문가 네트워크 집합에 대한 주의 가중치를 동적으로 할당한다.
• 각 전문가는 특정한 노이즈 유형(예: ℓp-유계)에 대해 적대적으로 훈련된 경우 또는 정상 데이터 정확도를 위해 일반적으로 훈련된 경우이다.
• 게이팅 모듈은 전문가의 최종 완전 연결 계층과 함께 동시에 훈련되어 기울기 가로막힘 문제를 방지한다.
• 특수화된 전문가들을 하나의 통합 프레임워크에 통합함으로써 다양한 노이즈 유형을 다룰 수 있다.
• 전문가 헤드의 미세조정 단계에서 적대적 훈련을 적용하여 게이팅 메커니즘의 강건성과 안정성을 확보한다.
• 아키텍처는 전체 시스템을 다시 훈련하지 않고도 새로운 노이즈 유형을 위한 새로운 전문가를 유연하고 모듈러하게 통합할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 특정한 노이즈 유형에 대해 훈련된 동적 전문가 앙상블이 다양한 노이즈에 대해 단일 구조의 적대적 훈련보다 우수한 성능을 낼 수 있는가?
• RQ2 적대적 예측이 존재하는 상황에서 기울기 가로막힘에 빠지지 않도록 게이팅 메커니즘을 효과적으로 훈련할 수 있는가?
• RQ3 MoRE는 다양한 노이즈 유형에 대해 강건성을 확보하면서도 높은 정상 데이터 정확도를 유지할 수 있는가?
• RQ4 이 프레임워크는 새로운 노이즈 패턴을 위한 새로운 전문가 유형을 쉽게 확장할 수 있는가?
• RQ5 혼합 입력 조건 하에서 MoRE는 표준 적대적 훈련 및 앙상블 방법과 비교해 강건성과 정확도 측면에서 어떻게 성능을 내는가?

주요 결과

• MoRE는 ℓp-유계 적대적 공격 및 악천후 오염과 같은 다양한 노이즈 유형에 대해 최신 기술 수준의 강건한 정확도를 달성한다.
• 정상 입력에서는 비적대적 전문가에 더 높은 가중치를 할당함으로써 MoRE는 높은 정상 데이터 정확도를 유지한다.
• 게이팅 네트워크와 전문가 헤드를 동시에 훈련시킴으로써 일반적으로 앙상블 방어에서 발생하는 기울기 가로막힘 문제를 효과적으로 완화한다.
• 동적 게이팅 메커니즘은 전문가 특화를 통해 예측되지 않은 또는 드문 노이즈 유형에 대해 적응형 라우팅을 가능하게 하여 성능을 향상시킨다.
• 광범위한 실험을 통해 MoRE가 표준 적대적 훈련 및 고정 앙상블 기반 방법에 비해 뛰어난 일반화 및 강건성을 제공한다는 것이 확인되었다.
• 프레임워크는 모듈러 확장이 가능하여, 전체 시스템을 다시 훈련하지 않고도 새로운 노이즈 유형을 위한 새로운 전문가를 추가할 수 있다.