[논문 리뷰] Certified Defense to Image Transformations via Randomized Smoothing

Marc Fischer, Maximilian Baader외 1명|arXiv (Cornell University)|2020. 02. 27.

Generative Adversarial Networks and Image Synthesis참고 문헌 34인용 수 5

한 줄 요약

이 논문은 랜덤화 스무딩을 매개변수화된 변환으로 확장하여 이미지 변환(예: 회전, 이동)에 대한 첫 번째 인증된 방어를 제안한다. 통계적 분석 또는 효율적인 역계산을 통해 보간 오차를 제한함으로써 분포 기반 및 개별적 안정성 보장을 달성하며, Restricted ImageNet 이미지의 50%에서 ±30° 회전에 대해 인증된 안정성을 입증한다.

ABSTRACT

Fair representation learning provides an effective way of enforcing fairness constraints without compromising utility for downstream users. A desirable family of such fairness constraints, each requiring similar treatment for similar individuals, is known as individual fairness. In this work, we introduce the first method thatenables data consumers to obtain certificates of individualfairness for existing andnew data points. The key idea is to map similar individuals toclose latent representations and leverage this latent proximity to certify individual fairness. That is, our method enables the data producer to learn and certify a representation where for a data point all similar individuals are at ℓ∞-distance at most epsilon, thus allowing data consumers to certify individual fairness by proving epsilon-robustness of their classifier. Our experimental evaluation on five real-world datasets and several fairnessconstraints demonstrates the expressivity and scalability of our approach.

연구 동기 및 목표

• 비가역적 기하학적 변환(예: 보간을 수반하는 회전)에 대한 인증 도전 과제를 해결하기 위해, 구성성의 붕괴로 인해 기존 ℓp 기반 인증이 무효화되는 문제를 다룬다.
• 랜덤화 스무딩을 ℓp-노름 변형을 초월해 회전, 이동 각도와 같은 매개변수화된 변환으로 확장한다.
• 확률적 또는 결정적 오차 경계 하에서 분포 기반 및 개별적 안정성 보장을 동시에 제공하는 새로운 인증 방법을 개발한다.
• ResNet-50과 같은 대규모 모델 및 ImageNet과 같은 대규모 데이터셋에서 실용적인 인증을 가능하게 하며, 이는 이전 방법이 계산적 또는 구성적 제약로 인해 실패하는 영역이다.

제안 방법

• 변환 매개변수(예: 회전 각도, 이동 벡터)에 정규분포 노이즈를 추가함으로써 랜덤화 스무딩을 매개변수화된 변환으로 확장하여, 매개변수 공간 내에서의 안정성 인증을 가능하게 한다.
• 구성 가능한 변환을 위한 기준 방법인 BASESPT를 도입하며, 이는 표준 랜덤화 스무딩의 보장을 그대로 유지하지만, 보간을 수반하는 비구성 가능한 변환(예: 보간된 회전)에는 실패한다.
• INDIVSPT를 제안하며, 원본 이미지에 접근하지 못하는 상황에서 보간 오차의 상한을 추정함으로써 추론 시점에 개별 인증서를 생성한다. 이는 간격 분석과 변환의 효율적 역계산을 활용한다.
• DISTSPT를 개발하여 데이터 분포 상에서 보간 오차의 확률적 상한을 추정함으로써, INDIVSPT보다 더 날카운 경계를 확보한다. 이는 확률적 보장을 수반한다.
• DISTSPTD를 도입하여 고신뢰도 qE로 사전에 오차 경계를 추정함으로써 분포 기반 및 개별적 보장을 동시에 제공한다.
• DISTSPTx를 제안하며, 테스트 세트에서 각 이미지별로 경계를 계산함으로써 DISTSPTD보다 더 날카운 경계를 확보한다. 그러나 이는 분포 기반 보장만 제공하며 개별적 보장은 제공하지 않는다.

실험 결과

연구 질문

• RQ1 보간 효과로 인해 조합성이 붕괴되는 회전, 이동과 같은 매개변수화된 변환에 대해 랜덤화 스무딩을 일반화할 수 있는가?
• RQ2 보간으로 인해 변형된 이미지를 정확히 복원할 수 없는 상황에서 기하학적 변환의 매개변수 공간 내에서 안정성을 어떻게 인증할 수 있는가?
• RQ3 비구성 가능한 변환을 다룰 때, 분포 기반 vs. 개별적, 결정적 vs. 확률적 보장 간의 상호 교환 관계는 어떠한가?
• RQ4 보간 오차 존재 하에서 변환의 효율적 역계산을 활용해 개별 인증서의 날카움을 향상시킬 수 있는가?

주요 결과

• ResNet-50를 사용하여 Restricted ImageNet에서 50%의 이미지에 대해 ±30° 회전에 대해 인증된 안정성을 확보함으로써 대규모 모델 및 데이터셋에 대한 확장성을 입증한다.
• MNIST에서 회전 공격에 대한 악성 예제에 대해 INDIVSPT는 81%의 인증률을 달성하며, 스무딩 평균 소요 시간 25.03초, 오차 분석 평균 소요 시간 0.26초를 기록한다.
• MNIST에서 이동 공격에 대해 INDIVSPT는 59%의 이미지에 대해 안정성을 인증하며, 평균 분석 시간 14.14초, 평균 스무딩 시간 19.89초를 기록한다.
• DISTSPTD는 고신뢰도 qE로 분포 기반 및 개별적 보장을 제공하며, 결정적 오차 경계 요구 조건을 완화함으로써 INDIVSPT보다 더 날카운 경계를 확보한다.
• DISTSPTx는 각 이미지별 경계를 계산함으로써 DISTSPTD보다 더 날카운 경계를 확보하지만, 개별적 보장은 제공하지 않으며 분포 기반 보장만 제공한다.
• 이 방법은 회전, 이동을 초월해 다른 매개변수화된 변환 및 보간 방식으로 일반화되며, 오디오 처리 분야 등 응용 가능성까지 확장된다.