[논문 리뷰] A Spectral View of Adversarially Robust Features

Shivam Garg, Vatsal Sharan외 2명|arXiv (Cornell University)|2018. 01. 01.

Adversarial Robustness in Machine Learning인용 수 10

한 줄 요약

이 논문은 주어진 거리 척도 하에서 데이터셋 기하구조의 스펙트럼적 성질을 활용하여 적대적 방해에 강인한 특징을 학습하는 방법을 제안한다. 이는 강인성과 스펙트럼적 구조 사이의 이론적 연결을 수립함으로써, 강인한 특징 추출과 동시에 고분산 함수의 강인성에 대한 하한을 가능하게 하며, 실험 결과로 이러한 특징이 후속 모델의 강인성과 정확도를 향상시킴을 보여준다.

ABSTRACT

Given the apparent difficulty of learning models that are robust to adversarial perturbations, we propose tackling the simpler problem of developing adversarially robust features. Specifically, given a dataset and metric of interest, the goal is to return a function (or multiple functions) that 1) is robust to adversarial perturbations, and 2) has significant variation across the datapoints. We establish strong connections between adversarially robust features and a natural spectral property of the geometry of the dataset and metric of interest. This connection can be leveraged to provide both robust features, and a lower bound on the robustness of any function that has significant variance across the dataset. Finally, we provide empirical evidence that the adversarially robust features given by this spectral approach can be fruitfully leveraged to learn a robust (and accurate) model.

연구 동기 및 목표

• 적대적 방해에 강인하면서도 데이터 포인트 간에 높은 변동성을 유지하는 특징을 학습하는 방법을 개발하기 위해.
• 주어진 거리 척도 하에서 데이터셋 기하구조의 스펙트럼적 성질과 적대적 강인성 간의 이론적 연결을 수립하기 위해.
• 데이터셋 전반에 걸쳐 높은 분산을 보이는 임의의 함수의 강인성에 대한 하한을 유도하기 위해.
• 제안된 강인한 특징이 후속 모델의 강인성과 정확도를 향상시킬 수 있음을 경험적으로 검증하기 위해.

제안 방법

• 이 방법은 데이터셋과 선택된 거리 척도로부터 유도된 커널 행렬의 스펙트럼 분해를 분석하여 강인한 특징을 식별한다.
• 이 커널 행렬의 주요 고유벡터가 고분산을 가지며, 특정 조건 하에서는 작은 방해에 대해 강인함을 악용한다.
• 스펙트럼 갭과 고유값 분포를 이용하여 가장 변동성이 큰 특징의 내재된 강인성을 정량화한다.
• 간단한 적대적 방해에 대해 민감도가 낮은 특징은 커널 행렬의 상위 고유벡터로 추출된다.
• 스펙트럼 성질을 기반으로 하여 고분산 함수의 강인성에 대한 이론적 하한을 제공한다.
• 경험적 평가는 이러한 스펙트럼적 특징을 사용하여 모델을 훈련시켜 강인성과 정확도에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 어떻게 체계적으로 고분산이면서도 적대적 방해에 강인한 특징을 식별할 수 있는가?
• RQ2 주어진 거리 척도 하에서 데이터셋 기하구조의 어떤 스펙트럼적 성질이 고분산 함수의 강인성을 결정하는가?
• RQ3 데이터셋 전반에 걸쳐 높은 분산을 보이는 임의의 함수의 간선성에 대한 이론적 하한을 도출할 수 있는가?
• RQ4 스펙트럼적 특징은 후속 모델의 강인성과 정확도를 어느 정도 향상시키는가?
• RQ5 스펙트럼적 접근은 표준 특징 학습 방법과 비교하여 적대적 강인성 측면에서 어떻게 다른가?

주요 결과

• 스펙트럼적 접근는 작은 입력 변화에 대한 민감도가 낮다는 점에서, 고분산이면서도 적대적 방해에 강인한 특징을 성공적으로 식별한다.
• 커널 행렬의 스펙트럼 갭을 기반으로 하여 고분산 함수의 간선성에 대한 이론적 하한을 도출할 수 있으며, 이는 내재된 강인성에 대한 체계적인 측정 기준을 제공한다.
• 이 방법은 데이터셋의 스펙트럼적 구조와 학습된 특징의 강인성 사이의 직접적인 연결을 수립하여, 적대적 강인성의 기하학적 해석을 가능하게 한다.
• 경험적 결과는 스펙트럼적 특징을 사용하여 훈련된 모델이 표준 특징을 사용한 모델보다 더 높은 강인 정확도를 달성함을 보여준다.
• 이 방법은 일반화된 적대적 조건 하에서 성능을 향상시키는 새로운 이론적 근거를 가진 특징 엔지니어링 기법을 제공한다.