[논문 리뷰] Adversarial Robustness of Supervised Sparse Coding

Jeremias Sulam, Ramchandran Muthukumar외 1명|arXiv (Cornell University)|2020. 10. 22.

Adversarial Robustness in Machine Learning참고 문헌 69인용 수 6

한 줄 요약

이 논문은 지도형 희박 코딩에서 적대적 내성에 대한 이론적 프레임워크를 제안한다. 여기서 희박성 촉진 인코더는 입력을 희박한 특징으로 매핑한 후 선형 분류기가 이를 이어받는다. 인코더 갭과 사전 비일관성에 기반한 내성 인증서를 수립하여, 갭이 적대적 노름과 분류기 마진과 관련된 임계값을 초과할 경우, ℓ2-유계 변형에 대해 예측이 변화하지 않음을 증명한다.

ABSTRACT

Several recent results provide theoretical insights into the phenomena of adversarial examples. Existing results, however, are often limited due to a gap between the simplicity of the models studied and the complexity of those deployed in practice. In this work, we strike a better balance by considering a model that involves learning a representation while at the same time giving a precise generalization bound and a robustness certificate. We focus on the hypothesis class obtained by combining a sparsity-promoting encoder coupled with a linear classifier, and show an interesting interplay between the expressivity and stability of the (supervised) representation map and a notion of margin in the feature space. We bound the robust risk (to $\ell_2$-bounded perturbations) of hypotheses parameterized by dictionaries that achieve a mild encoder gap on training data. Furthermore, we provide a robustness certificate for end-to-end classification. We demonstrate the applicability of our analysis by computing certified accuracy on real data, and compare with other alternatives for certified robustness.

연구 동기 및 목표

• 이론적 내성 분석과 실용적 모델 간 격차를 좁히기 위해, 증명 가능한 일반화와 내성을 갖는 학습된 표현을 연구한다.
• ℓ2-유계 적대적 변형 하에서 지도형 희박 코딩의 가설에 대해 정밀한 일반화 경계를 제공한다.
• 인코더 갭과 모델 특성에 기반한 예측 안정성을 보장하는 내성 인증서를 도출한다.
• MNIST와 CIFAR-10에서 FISTA 기반 최적화와 배치 정규화를 사용한 엔드 투 엔드 학습을 통해 이론적 결과를 실험적으로 검증한다.

제안 방법

• 지도형 희박 인코더와 선형 분류기를 조합한 가설 클래스를 제안하며, 데이터를 표현하기 위해 사전 학습을 사용한다.
• 인코더 갭 τs, 사전 제한된 등거리성 성질(RIP) 상수 ηs, 및 분류기 마진에 기반한 내성 인증서를 도입한다.
• 최소 ϵ-커버 추론을 사용하여 내성 위험을 경계하며, ν 크기의 ℓ2 변형 하에서 표본 복잡도가 O((1+ν)²/m)의 순서로 증가한다.
• 학습 중에는 FISTA를 사용해 미분 가능한 특징 계산을 수행하고, 추론 시에는 정확한 해를 계산하여 인코더 갭의 타당성을 보장한다.
• 표현의 안정성 경계를 도출하여, 적대적 공격 하에서 표현의 변형이 ν/√(1−ηs) 이내로 제한됨을 보여준다.
• MNIST와 CIFAR-10에서 FISTA 기반 최적화와 배치 정규화를 사용한 Adam을 활용한 엔드 투 엔드 학습을 통해 결과를 검증한다.

실험 결과

연구 질문

• RQ1 지도형 희박 코딩 모델은 ℓ2-유계 적대적 변형에 대해 증명 가능한 내성을 달성할 수 있는가?
• RQ2 적대적 노이즈 존재 시 인코더 갭 τs는 내성과 어떻게 관련되는가?
• RQ3 사전(예: RIP, 비일관성)과 분류기 마진에 어떤 조건이 내성 인증을 보장하는가?
• RQ4 표준 학습에 비해 적대적 오염 하에서 표본 복잡도는 어떻게 스케일링되는가?
• RQ5 이론적 내성 인증서는 실질적으로 검증 가능하며, 다른 인증된 내성 방법보다 뛰어난 성능을 보일 수 있는가?

주요 결과

• 크기 ν의 ℓ2 변형 하에서 내성 위험은 경계되어 있으며, 표본 복잡도가 O((1+ν)²/m)의 미미한 증가를 보인다.
• 내성 인증서가 확립되었다: 인코더 갭 τs > 2ν 이고 사전가 ηs-RIP일 경우, 모든 ∥v∥₂ ≤ ν에 대해 예측이 그대로 유지된다.
• 표현 안정성은 ∥ϕD(x₀) − ϕD(x₀ + v)∥₂ ≤ ν/√(1−ηs)로 경계되며, 변형 하에서 작은 특징 이동을 보장한다.
• 다중 클래스 분류의 경우, ν ≤ min{τs(x)/2, ρx√(1−ηs)/cW}일 때 내성이 유지되며, 여기서 ρx는 마진이고 cW는 클래스 가중치 벡터 간 최대 쌍별 거리이다.
• MNIST와 CIFAR-10에서의 실험 결과, 제안된 방법이 적대적 변형 하에서 인증된 정확도를 확보하며, 기준 방법 대비 더 뛰어난 내성 보장을 제공한다.
• 사전를 비지도 방식으로 사전 학습하면 수렴이 향상되고 추론 시 정확한 인코더 갭 계산이 안정적으로 가능해진다.