[논문 리뷰] PRoA: A Probabilistic Robustness Assessment against Functional Perturbations

Tianle Zhang, Wenjie Ruan외 1명|arXiv (Cornell University)|2022. 07. 05.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

PRoA는 신경망 아키텍처에 대한 가정 없이, 로테이션, 블러링, 색상 이동과 같은 기능적 편향에 대한 실패 가능성의 통계적 하한을 제공하는 확장 가능하고 확률론적 강건성 평가 프레임워크를 도입한다. 이는 적응형 농도 부등식을 사용하여, 공격 예제가 존재할 가능성을 통계적으로 제약한다. 이는 상태 최고 수준의 기준 정확도를 다양한 모델과 편향 유형에서 달성하며, ResNetV2-50 및 비전 트랜스포머를 포함한다.

ABSTRACT

In safety-critical deep learning applications robustness measurement is a vital pre-deployment phase. However, existing robustness verification methods are not sufficiently practical for deploying machine learning systems in the real world. On the one hand, these methods attempt to claim that no perturbations can ``fool'' deep neural networks (DNNs), which may be too stringent in practice. On the other hand, existing works rigorously consider $L_p$ bounded additive perturbations on the pixel space, although perturbations, such as colour shifting and geometric transformations, are more practically and frequently occurring in the real world. Thus, from the practical standpoint, we present a novel and general {\it probabilistic robustness assessment method} (PRoA) based on the adaptive concentration, and it can measure the robustness of deep learning models against functional perturbations. PRoA can provide statistical guarantees on the probabilistic robustness of a model, extit{i.e.}, the probability of failure encountered by the trained model after deployment. Our experiments demonstrate the effectiveness and flexibility of PRoA in terms of evaluating the probabilistic robustness against a broad range of functional perturbations, and PRoA can scale well to various large-scale deep neural networks compared to existing state-of-the-art baselines. For the purpose of reproducibility, we release our tool on GitHub: \url{ https://github.com/TrustAI/PRoA}.

연구 동기 및 목표

• ε-구역 내 공격 예제가 존재하지 않는다고 가정하는 결정론적 강건성 검증의 한계를 해결하기 위해, 확률론적 강건성으로의 초점을 이동시키기.
• 실제 환경 배포에서 흔한 비가산적 기능적 편향, 예를 들어 기하학적 변형과 이미지 손상과 같은 현실적인 편향 하에서의 강건성 평가를 가능하게 하기.
• 신경망 아키텍처에 관계없이 적용 가능한 방법을 개발하여 대규모 최신 기술의 블랙박스 모델 평가를 가능하게 하기.
• 편향 하에서 모델의 실패 확률에 대한 통계적 보장을 제공하고, 증명 가능한 신뢰구간을 확보하기.
• 적응형 샘플링 전략을 사용하여 기존 방법보다 확장성과 효율성을 향상시키며, 충분한 신뢰도에 도달하면 조기에 종료함으로써 불필요한 샘플링을 방지하기.

제안 방법

• PRoA는 기능적 편향 하에서 공격 예제의 확률을 추정하기 위해 적응형 농도 부등식 프레임워크를 사용하며, 지속적인 통계적 신뢰도에 따라 샘플 수를 동적으로 조정한다.
• 강건성 평가는 순차적 가설 검정으로 설정되며, 추정된 실패 확률이 높은 신뢰도로 사용자가 정의한 허용 오차 범위 내에 들어갈 때까지 샘플링을 계속한다.
• 이 방법은 신경망의 특정 구조를 가정하지 않아, ResNet, EfficientNet, 비전 트랜스포머를 포함한 임의의 블랙박스 모델에 적용 가능하다.
• 랜덤 샘플링을 통해 기능적 위협 모델(예: 로테이션, 블러링, 색상 이동)에서 편향된 입력을 추출하고, 모델의 예측을 평가하여 실패율을 추정한다.
• Agresti–Coull 방법에서 유도된 신뢰구간을 사용하고, 이를 적응형 샘플링 결과와 비교하여 통계적 타당성을 확보한다.
• 신뢰구간이 결정을 내릴 수 있을 정도로 충분히 좁아지면 알고리즘이 조기에 종료되어 불필요한 샘플링을 방지하고 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 실제 기능적 편향 하에서 딥 뉴럴 네트워크의 실패 확률에 대해 증명 가능한 보장을 제공할 수 있는 확률론적 강건성 평가 프레임워크는 존재하는가?
• RQ2 다양한 편향 유형에서 PRoA의 적응형 샘플링 전략은 고정 샘플 수 기반 방법에 비해 효율성과 정확도에서 어떻게 비교되는가?
• RQ3 PRoA는 아키텍처에 대한 가정 없이 대규모 최신 딥 뉴럴 네트워크로 얼마나 잘 확장되는가?
• RQ4 동일한 신뢰 수준에서 Agresti–Coull 및 SRC와 같은 기존 방법에 비해 PRoA는 더 높은 기준 정확도를 달성하는가?
• RQ5 PRoA의 계산 비용은 모델 복잡도와 편향 유형에 따라 어떻게 변하는가?

주요 결과

• PRoA는 평가된 모든 모델과 편향 유형에서 가장 높은 기준 정확도를 달성했으며, ResNetV2-50은 로테이션 하에서 54%의 기준 정확도, 밝기/대비 편향 하에서 40%의 기준 정확도를 기록했다.
• 가우시안 블러링 편향 하에서 PRoA는 평균 실행 시간이 3.89초로 Agresti–Coull(6.38초) 및 SRC(5.72초)보다 가장 짧아, 복잡한 편향 하에서도 뛰어난 효율성을 입증했다.
• 비전 트랜스포머(ViT-Base)에서는 로테이션 하에서 41%의 기준 정확도, 밝기/대비 하에서 34%의 기준 정확도를 기록했으며, Agresti–Coull 및 SRC를 모두 능가했다.
• PRoA가 요구하는 평균 샘플 수는 모델 크기와 편향 복잡도가 증가함에 따라 증가했지만, 합리적인 수준을 유지했다—예를 들어, ViT-Base의 로테이션에 대해 평균 7,260개의 샘플(표준편차 80.11)을 요구했다.
• PRoA의 적응형 샘플링 전략은 특히 가우시안 블러링과 같은 고복잡도 시나리오에서 불필요한 계산을 줄였으며, 고정 샘플 수 기반 기준보다 조기에 종료되었다.
• 이 방법은 강력한 확장성을 보였으며, ResNetV2-50, EfficientNet-B0, ViT-Base-Patch16-224 등의 모델을 다양한 기능적 위협 모델 하에서 성공적으로 강건성 인증했다.