[논문 리뷰] Intrinsic Geometric Vulnerability of High-Dimensional Artificial Intelligence

Luca Bortolussi, Guido Sanguinetti|arXiv (Cornell University)|2018. 11. 08.

Adversarial Robustness in Machine Learning참고 문헌 30인용 수 4

한 줄 요약

이 논문은 고차원 인공지능 모델이 고차원 데이터 다양체의 기하학적 구조로 인해 본질적으로 적대적 공격에 취약하다고 주장한다. 이는 높은 성능을 가능하게 하는 같은 기하학적 성질—낮은 내재 차원성과 다양체 집중성—이 악용 가능한 취약성을 만들어내며, 고차원에서 강건성과 높은 정확도가 본질적으로 결합되어 있음을 보여준다.

ABSTRACT

The success of modern Artificial Intelligence (AI) technologies depends critically on the ability to learn non-linear functional dependencies from large, high dimensional data sets. Despite recent high-profile successes, empirical evidence indicates that the high predictive performance is often paired with low robustness, making AI systems potentially vulnerable to adversarial attacks. In this report, we provide a simple intuitive argument suggesting that high performance and vulnerability are intrinsically coupled, and largely dependent on the geometry of typical, high-dimensional data sets. Our work highlights a major potential pitfall of modern AI systems, and suggests practical research directions to ameliorate the problem.

연구 동기 및 목표

• 강력한 예측 정확도에도 불구하고 고성능 딥러닝 모델이 적대적 공격에 본질적으로 취약한 이유를 설명하는 것.
• 고차원 데이터 다양체의 구조에 초점을 맞춰 이러한 취약성의 내재된 기하학적 원인을 규명하는 것.
• 일반적인 고차원 데이터의 기하학으로 인해 강건성과 높은 성능이 본질적으로 결합되어 있음을 주장하는 것.
• 차원 축소나 정규화와 같은 기하학적 통찰을 활용해 강건성을 향상시키는 실용적인 연구 방향을 제안하는 것.
• 기하학적 프레임워크 아래에서 이전의 적대적 일반화 및 이전 가능성 관측을 통합하는 것.

제안 방법

• 입력 공간 R^N에서의 이진 분류를 고려하며, 데이터 다양체에 대한 기하학적 시각을 적용한다.
• 결정 경계가 고차원 공간에서의 소규모 변형에 민감한 局소적으로 복잡한 분류기의 개념을 도입한다.
• 주성분 분석(PCA)을 사용해 분류기 가중치가 큰 입력 공간의 방향, 특히 데이터 다양체에 수직인 방향을 식별한다.
• 선형 공격이 효과적인 이유는 단순한 모델조차도 큰 분류기 가중치를 가지는 고차원 방향을 악용하기 때문이다.
• 적대적 예제의 일반화를 데이터 다양체의 기하학, 특히 낮은 내재 차원성의 영역과 연결한다.
• 차원 축소와 베이지안 불확실성 추정이 고차원 공간에서 모델 행동의 단순화 또는 정규화를 통해 취약성을 줄일 수 있을 것이라 제안한다.

실험 결과

연구 질문

• RQ1 강력한 일반화 성능에도 불구하고 고차원 AI 모델이 소규모 적대적 변형에 매우 취약한 이유는 무엇인가?
• RQ2 고차원 데이터 다양체의 어떤 기하학적 성질이 강건성과 높은 성능을 본질적으로 불가분하게 만드는가?
• RQ3 데이터의 내재 차원성이 적대적 예제의 형성과 이전 가능성과 어떻게 관련되어 있는가?
• RQ4 선형 공격이 모델과 데이터셋이 다를지라도 왜 다양한 모델 간에 일반화되는가?
• RQ5 데이터 다양체 구조에서의 기하학적 통찰이 적대적 공격에 대한 더 나은 방어 전략을 도출하는 데 기여할 수 있는가?

주요 결과

• 낮은 내재 차원성을 가진 고차원 데이터 다양체는 고성능 분류기가 반드시 적대적 공격에 취약한 기하학적 배경을 제공한다.
• 고차원에서 정확한 예측을 가능하게 하는 동일한 분류기 가중치가 데이터 다양체에 수직인 방향으로의 소규모 변형에 민감하게 만들기도 한다.
• 선형 공격이 효과적이고 일반화 가능한 이유는 큰 분류기 가중치를 가지는 고차원 방향을 악용하기 때문이다. 이는 단순한 모델조차도 흔히 나타나는 현상이다.
• 적대적 예제는 종종 국소 내재 차원성이 높은 영역에 위치하며, 이는 데이터 다양체의 복잡한 굽은 부분을 악용한다는 것을 시사한다.
• 이 취약성은 모델 복잡성의 산물이 아니라 고차원 데이터의 기하학적 성질의 본질적 결과이다.
• 차원 축소와 베이지안 정규화는 데이터 다양체를 단순화하고 제약이 없는 방향에서의 불확실성을 정량화함으로써 취약성을 줄일 수 있다.