[논문 리뷰] Performance Evaluation of Adversarial Attacks: Discrepancies and Solutions

Jing Wu, Mingyi Zhou외 4명|arXiv (Cornell University)|2021. 04. 22.

Adversarial Robustness in Machine Learning참고 문헌 40인용 수 5

한 줄 요약

이 논문은 적대적 공격 평가를 표준화하기 위해 조각별 샘플링 곡선(PSC) 프레임워크를 제안한다. 이 프레임워크는 편미분 범위 전역에서 부드럽고 종합적인 성능 곡선을 생성함으로써, 곡선 아래 면적(AUC)을 사용해 공정한 비교를 가능하게 한다. 이 방법은 일관되고 해상도 조절이 가능한 샘플링 및 피팅을 가능하게 하여 공격 벤치마킹의 격차를 줄이며, 기울기 기반, 쿼리 기반, 결정 기반 공격 전반에 걸쳐 성능 평가의 신뢰성 향상과 편향 감소를 경험적으로 입증한다.

ABSTRACT

Recently, adversarial attack methods have been developed to challenge the robustness of machine learning models. However, mainstream evaluation criteria experience limitations, even yielding discrepancies among results under different settings. By examining various attack algorithms, including gradient-based and query-based attacks, we notice the lack of a consensus on a uniform standard for unbiased performance evaluation. Accordingly, we propose a Piece-wise Sampling Curving (PSC) toolkit to effectively address the aforementioned discrepancy, by generating a comprehensive comparison among adversaries in a given range. In addition, the PSC toolkit offers options for balancing the computational cost and evaluation effectiveness. Experimental results demonstrate our PSC toolkit presents comprehensive comparisons of attack algorithms, significantly reducing discrepancies in practice.

연구 동기 및 목표

• 현재의 적대적 공격 평가 방법에서 발생하는 일관성 없는 점들이 다양한 연구 간 모순된 결론을 초래하는 원인를 규명하고 이를 해결하기 위해.
• 기울기 기반, 쿼리 기반, 결정 기반 공격 등 다양한 공격 유형 간 성능 비교를 표준화하는 통합적이고 재현 가능한 평가 프레임워크를 제안하기 위해.
• 곡선 생성 시 구성 가능한 해상도와 피팅 차수를 통해 계산 비용과 평가 효과성 간의 균형을 확보하기 위해.
• 다양한 편미분 범위에서 AUC와 같은 표준화된 지표를 사용해 공격 간 일관된 비교를 가능하게 하는 툴킷을 제공하기 위해.

제안 방법

• PSC 프레임워크는 편미분 범위 ε를 r개의 이산 세그먼트로 나누어, 각 세그먼트당 최적의 공격 결과를 하나 선별함으로써 성능 표현의 최대화를 보장한다.
• 샘플링된 점들 사이에 다항식 피팅(기본 차수 5) 또는 직선 연결을 사용해 다양한 공격 방법 간에 부드럽고 비교 가능한 곡선을 생성한다.
• 정의된 ε 범위에서 곡선 아래 면적(AUC)을 계산하여 공격 성능을 정량적으로 순위 매기며, 높은 AUC는 전체적으로 뛰어난 내성성을 의미한다.
• 이 프레임워크는 2차원 및 3차원 비교를 지원하며, L2 거리, 쿼리 수, 성공률 등 다양한 측정 가능한 지표를 가진 공격 유형에 적응 가능하다.
• 계산 비용과 곡선의 정밀도 간 균형을 확보하기 위해 구성 가능한 해상도 r를 포함하며, 최적의 피팅 차수와 샘플링 전략에 대한 권고 사항을 제공한다.
• 공개된 툴킷을 통해 사용자는 결과를 업로드하고 표준 설정 하에 공격 간 비교를 수행할 수 있다.

실험 결과

연구 질문

• RQ1 정확한 실험 절차를 사용함에도 불구하고 공격 성능에 대한 모순된 결론이 왜 발생하는가?
• RQ2 표준화된 평가 프레임워크는 다양한 공격 유형과 설정 간에 적대적 공격 벤치마킹의 격차를 어떻게 줄일 수 있는가?
• RQ3 곡선 기반 공격 비교에서 계산 비용과 평가 정확도 사이의 최적의 균형은 무엇인가?
• RQ4 공격 지표가 다양할 경우(예: 쿼리 수, 거리, 성공률), 성능는 어떻게 일관되게 측정할 수 있는가?

주요 결과

• PSC 프레임워크는 점별 비교를 부드럽고 AUC 기반의 곡선 분석으로 대체함으로써 공격 평가의 격차를 크게 감소시킨다.
• AUC를 지표로 사용함으로써 다양한 편미분 범위와 공격 유형 간에 일관되고 정량적인 공격 성능 순위 매기기가 가능해진다.
• r=5의 해상도와 5차 다항식 피팅이 곡선의 부드러움과 계산 비용 사이에 좋은 균형을 이룬다. 이는 과소적합 또는 과적합을 방지한다.
• 프레임워크는 기울기 기반, 점수 기반, 결정 기반 공격을 포함한 다양한 공격 유형을 적절한 지표 적응을 통해 성공적으로 처리한다.
• MNIST, CIFAR-10, ImageNet에서의 경험적 결과는 기존의 점별 또는 비표준 곡선 방법에 비해 PSC가 더 신뢰성 있고 재현 가능한 비교를 가능하게 한다는 것을 보여준다.