[논문 리뷰] Improving the Tightness of Convex Relaxation Bounds for Training Certifiably Robust Classifiers

Chen Zhu, Renkun Ni외 4명|ArXiv.org|2020. 02. 22.

Adversarial Robustness in Machine Learning참고 문헌 27인용 수 6

한 줄 요약

이 논문은 훈련 중에 인공신경망의 인증 가능 강건성 보장을 향상시키기 위해 두 가지 새로운 정규화 항을 제안한다. 이 정규화 항들은 이완된 문제의 해가 원래 비볼록 문제에서 타당한 해가 되도록 유도함으로써, 인증 가능 강건성과 실증 강건성 사이의 격차를 줄이며, 다양한 변형 범위에서 MNIST 및 CIFAR-10에서 최고 수준의 인증 정확도를 달성한다.

ABSTRACT

Convex relaxations are effective for training and certifying neural networks against norm-bounded adversarial attacks, but they leave a large gap between certifiable and empirical robustness. In principle, convex relaxation can provide tight bounds if the solution to the relaxed problem is feasible for the original non-convex problem. We propose two regularizers that can be used to train neural networks that yield tighter convex relaxation bounds for robustness. In all of our experiments, the proposed regularizers result in higher certified accuracy than non-regularized baselines.

연구 동기 및 목표

• 이완된 보장을 사용해 훈련하는 신경망에서 인증 가능 강건성과 실증 강건성 사이의 격차를 줄이기 위해.
• 이완된 보장이 타당한 해가 되는 조건을 규명하여 강건성 검증을 향상시키기 위해.
• 원래 비볼록 문제에서 타당한 해가 되도록 유도하는 정규화 항을 개발하여 보장의 타당성을 높이기 위해.
• Fast-Lin 및 IBP와 같은 효율적인 검증 도구의 성능을 향상시키기 위해, 정규화를 통해 초기 네트워크 가중치의 품질을 개선하기 위해.
• 기존의 비정규화 기반 모델 및 최신 기법들보다 표준 벤치마크에서 더 높은 인증 정확도를 달성하기 위해.

제안 방법

• 이완된 문제를 선형 네트워크의 해석으로 재구성하여, 최적 해가 각 층에 악성 변형이 삽입된 선형 네트워크를 통과하는 전방향 계산으로 표현되도록 한다.
• 이완된 문제에서 층 간의 누적 효과를 분석함으로써, 타당한 보장을 위한 최적성 조건을 규명한다.
• 중간 층의 전활성화 범위를 기반으로 하는 정규화 항과 외부 악성 다면체를 기반으로 하는 정규화 항을 도입하여, 이완된 해가 원래 문제에서 타당한 해가 되도록 유도한다.
• 정규화 항을 훈련 목표에 통합하여 최적화 과정에서 보다 타당한 이완된 보장을 유도한다.
• Fast-Lin 및 IBP와 같은 효율적인 검증 도구를 사용하여 인증 강건성을 평가함으로써 확장성과 실용성을 확보한다.
• 정규화 항을 두 가지 설정에 적용: 독립적인 이완된 보장 훈련 및 CROWN-IBP(두 단계 훈련 방법)의 초기화로 사용.

실험 결과

연구 질문

• RQ1 원래 비볼록 문제에서 타당한 해가 되도록 네트워크를 정규화함으로써, 이완된 보장의 타당성을 높일 수 있는가?
• RQ2 이완된 문제의 어떤 구조적 또는 최적화적 성질이 인증 가능 강건성과 실증 강건성 사이의 격차를 초래하는가?
• RQ3 제안된 정규화 항은 IBP 및 CROWN-IBP와 같은 기존 기법들에 비해 인증 정확도에서 어떻게 비교되는가?
• RQ4 비용이 많이 들지 않는 최적의 층별 이완이 아닌, 효율적인 검증 도구(예: Fast-Lin)를 사용할 때도 정규화 항이 성능 향상에 기여하는가?
• RQ5 CROWN-IBP와 같은 두 단계 훈련 방법에서 정규화 항을 초기화로 사용할 경우, 최종 인증 정확도가 향상되는가?

주요 결과

• 제안된 정규화 항은 MNIST 및 CIFAR-10의 모든 평가 설정에서 비정규화 기반 모델에 비해 일관되게 인증 가능 강건 정확도를 향상시킨다.
• ε=0.3일 때 MNIST에서 10.18±0.5%의 인증 정확도를 달성하여 이전 연구에서 보고된 최고 성능을 초월한다.
• ε=2/255일 때 CIFAR-10에서 유사 크기의 모델들 중에서 최고의 인증 정확도를 기록하여 최신 기술 수준의 성능을 입증한다.
• 작은 정확한 모델(MNIST)에서 ε=0.1일 때 인증 강건 오차의 상대적 향상은 18%이며, ε=0.3일 때는 3.4%로, 보장의 타당성 향상이 뚜렷하다.
• CROWN-IBP에 적용했을 때 정규화 항은 초기화 단계를 향상시켜 MNIST(ε=0.3) 및 CIFAR-10(ε=8/255)에서 더 높은 최종 인증 정확도를 달성한다.
• 제거 실험 결과, 두 정규화 항 모두 성능 향상에 기여하며, 다양한 모델 유형과 랜덤 시드에 걸쳐 일관된 개선 효과를 보였다.