[논문 리뷰] Robust Collective Classification against Structural Attacks.

Kai Zhou, Yevgeniy Vorobeychik|arXiv (Cornell University)|2020. 07. 26.

Adversarial Robustness in Machine Learning인용 수 2

한 줄 요약

이 논문은 테스트 시점에서 그래프 간선이 수정되는 구조적 공격에 대비한 강건한 집단 분류 프레임워크를 제안한다. 문제를 이중 최적화로 공식화하고 이중성 기반 볼록 근사를 통해 강건한 성능을 달성하며, 적대적 환경에서 딥 러닝 모델을 능가하면서도 정상 데이터에서 높은 정확도를 유지한다.

ABSTRACT

Collective learning methods exploit relations among data points to enhance classification performance. However, such relations, represented as edges in the underlying graphical model, expose an extra attack surface to the adversaries. We study adversarial robustness of an important class of such graphical models, Associative Markov Networks (AMN), to structural attacks, where an attacker can modify the graph structure at test time. We formulate the task of learning a robust AMN classifier as a bi-level program, where the inner problem is a challenging non-linear integer program that computes optimal structural changes to the AMN. To address this technical challenge, we first relax the attacker problem, and then use duality to obtain a convex quadratic upper bound for the robust AMN problem. We then prove a bound on the quality of the resulting approximately optimal solutions, and experimentally demonstrate the efficacy of our approach. Finally, we apply our approach in a transductive learning setting, and show that robust AMN is much more robust than state-of-the-art deep learning methods, while sacrificing little in accuracy on non-adversarial data.

연구 동기 및 목표

• 테스트 시점에서 그래프 간선을 조작하는 구조적 공격에 취약한 집단 분류 방법의 문제를 해결하기 위해.
• 구조적 공격 하에서 연관 마르코프 네트워크(AMN)의 적대적 강건성을 이중 최적화 문제로 공식화하기 위해.
• 공격자의 비선형 정수 프로그래밍을 볼록 근사화하여 강건한 학습 문제의 해법 가능성을 확보하기 위해.
• 이중성을 통한 근사 해의 품질에 대한 이론적 경계를 증명하기 위해.
• 이론적 설정에서의 전도성 학습 설정을 통해 성능을 평가하고 최신 딥 러닝 모델과의 강건성 비교를 위해.

제안 방법

• 강건한 AMN 학습을 이중 프로그램으로 공식화: 외부 문제에서는 모델 파라미터를 최적화하고, 내부 문제에서는 악성 구조적 변형의 최악의 경우를 계산한다.
• 내부 문제의 비선형 정수 프로그래밍을 연속적 근사로 변환하여 해법 가능성을 확보한다.
• 라그랑주 이중성을 적용하여 최악의 손실에 대한 볼록 2차 상한을 유도함으로써 효율적인 최적화를 가능하게 한다.
• 이중 형식을 활용해 적대적 그래프 수정에 강건한 대체 목적 함수를 유도한다.
• 테스트 시점의 구조적 공격에 대한 성능 평가를 위해 전도성 학습 설정을 활용한다.
• 이중 기반 상한을 학습 목표에 통합하여 최악의 예상 손실을 최소화한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 구조적 공격 하에서 연관 마르코프 네트워크(AMN)의 적대적 강건성을 공식화할 수 있는가?
• RQ2 그래프 구조 조작이 집단 분류기의 분류 성능에 어떤 영향을 미치는가?
• RQ3 최악의 구조적 변형 하에서 강건한 AMN 학습을 위한 해법 가능한 최적화 프레임워크를 유도할 수 있는가?
• RQ4 이중 기반 볼록 근사는 진정한 최적 해와 비교해 강건한 해의 품질에 어떤 영향을 미치는가?
• RQ5 최신 딥 러닝 모델과 비교해 강건성과 정상 데이터 정확도 측면에서 강건한 AMN 방법은 어떤가?

주요 결과

• 제안된 방법은 전도성 설정에서 최신 딥 러닝 방법보다 구조적 공격에 훨씬 더 강건한 성능을 달성한다.
• 이중 기반 볼록 근사는 최악의 손실에 대해 날카운 상한을 제공하여 효과적인 최적화를 가능하게 한다.
• 비적대적 테스트 데이터에서도 높은 정확도를 유지하며 성능 저하가 최소한이다.
• 이론적 분석을 통해 이중성을 통한 근사 해의 부적합성에 대한 경계를 확립한다.
• 실증 결과는 강건한 AMN가 딥 러닝 기반 모델보다 엣지 편집 공격에 더 강건함을 확인한다.