[논문 리뷰] What do AI algorithms actually learn? - On false structures in deep learning

Laura Thesing, Vegard Antun외 1명|arXiv (Cornell University)|2019. 06. 04.

Adversarial Robustness in Machine Learning참고 문헌 40인용 수 15

한 줄 요약

이 논문은 딥러닝 모델이 이미지 분류에서 높은 정확도를 달성하는 이유가 진정한 인간이 이해할 수 있는 구조(예: 고양이의 털이나 귀와 같은 특징)를 학습하는 것이 아니라, 보다 단순하고 불안정한 '거짓 구조'(예: 픽셀 합 임계값)를 학습하기 때문이라고 제안한다. 이러한 거짓 구조는 수치적으로 학습하기 쉬우나, 전역적인 불안정성을 초래하여 모델이 적대적 공격에 취약한 이유를 설명한다.

ABSTRACT

There are two big unsolved mathematical questions in artificial intelligence (AI): (1) Why is deep learning so successful in classification problems and (2) why are neural nets based on deep learning at the same time universally unstable, where the instabilities make the networks vulnerable to adversarial attacks. We present a solution to these questions that can be summed up in two words; false structures. Indeed, deep learning does not learn the original structures that humans use when recognising images (cats have whiskers, paws, fur, pointy ears, etc), but rather different false structures that correlate with the original structure and hence yield the success. However, the false structure, unlike the original structure, is unstable. The false structure is simpler than the original structure, hence easier to learn with less data and the numerical algorithm used in the training will more easily converge to the neural network that captures the false structure. We formally define the concept of false structures and formulate the solution as a conjecture. Given that trained neural networks always are computed with approximations, this conjecture can only be established through a combination of theoretical and computational results similar to how one establishes a postulate in theoretical physics (e.g. the speed of light is constant). Establishing the conjecture fully will require a vast research program characterising the false structures. We provide the foundations for such a program establishing the existence of the false structures in practice. Finally, we discuss the far reaching consequences the existence of the false structures has on state-of-the-art AI and Smale's 18th problem.

연구 동기 및 목표

• 딥러닝의 높은 분류 성공률에도 불구하고 전역적인 불안정성이라는 역설을 해결하기 위해.
• ‘거짓 구조’ 개념을 수학적 프레임워크로 형식화하여 신경망이 안정적이지 않은 비내구적 해에 수렴하는 이유를 설명하기 위해.
• 딥러닝에서 거짓 구조의 존재성과 성질을 탐구하는 연구 프로그램의 기초를 마련하기 위해.
• 거짓 구조 현상이 계산수학의 보편적 기초 문제와 스말레의 지능의 한계에 관한 18번째 문제와 어떻게 연결되는지 탐색하기 위해.

제안 방법

• 진정한 분류 구조와 관련이 있는 대안적이고 단순하며 불안정한 표현인 ‘거짓 구조’ 개념을 도입한다.
• 거짓 구조를 수학적으로 (g, L')의 쌍으로 정의한다. 여기서 g는 단순한 기하학적이지 않은 특징(예: 총 픽셀 합)에 기반한 함수이며, L'은 입력 공간의 논리적 분할이다.
• 가짜 이미지(수평 줄무늬가 그려진 소방차)를 활용한 사고 실험을 통해 신경망이 픽셀 합 임계값에 기반한 거짓 구조를 학습할 수 있음을 보여준다.
• 특정 파라미터 범위(a=0.01)를 가진 작은 데이터셋(60개 샘플)에서 신경망을 훈련하고, 두 가지 테스트 세트에서 성능을 테스트한다: 하나는 훈련 데이터와 유사한 파라미터(b=0.009, c=0.01)를 가지며, 다른 하나는 시각적으로 동일하지만 파라미터가 변형된(b=0.009, c=0.01) 세트이다.
• 두 테스트 세트에서의 분류 정확도를 측정하여, 네트워크가 훈련과 유사한 세트에서는 100% 정확도를 달성하지만, 시각적으로 동일한 다른 세트에서는 0% 정확도를 보임을 확인함으로써 불안정성을 입증한다.
• 네트워크가 수렴하는 방식으로 볼 때, 정확한 구조는 아닐 수 있으나 간단하고 수치적으로 유리한 해를 찾기 때문에, 거짓 구조 (g, L')가 학습된 표현일 가능성이 높다고 제안한다.

실험 결과

연구 질문

• RQ1 왜 딥 네트워크는 소수의 입력 변형에 대해 전역적으로 불안정한데도 높은 분류 정확도를 달성하는가?
• RQ2 훈련된 신경망이 실제로 학습하는 구조적 표현은 무엇이며, 인간이 이해할 수 있는 의도된 구조와 어떻게 다를까?
• RQ3 딥러닝 모델의 불안정성은 진정한 기초 구조 대신 더 단순하고 내구성이 없는 ‘거짓 구조’를 학습하기 때문인가?
• RQ4 딥러닝의 학습 과정이 얼마나 정확히 거짓 구조로의 수렴으로 형식화될 수 있으며, 이는 어떻게 계산적이고 이론적으로 검증될 수 있는가?
• RQ5 거짓 구조의 존재는 계산수학의 기초와 스말레의 지능의 한계에 관한 18번째 문제에 어떤 영향을 미치는가?

주요 결과

• 신경망은 훈련 데이터와 유사한 파라미터 범위(a=0.01)를 가진 테스트 세트 𝒞̃ᵇᶜ(b=0.009, c=0.01)에서 100% 정확도를 달성하여 유사 입력으로의 일반화가 성공했음을 나타낸다.
• 시각적으로 동일한 테스트 세트 𝔈̂ᵇᶜ(다른 파라미터 범위: b=0.009, c=0.01)에서는 동일한 네트워크가 0% 정확도를 기록하여, 작은 변형에 대한 완전한 불안정성을 입증한다.
• 파라미터 범위를 b=0.007, c=0.008로 이동한 결과, 𝒞̃ᵇᶜ에서 정확도가 98.7%로 떨어지고 𝔈̂ᵇᶜ에서 0.0%로 떨어지며, 네트워크가 안정적이고 기하학적인 구조를 학습하지 않는다는 것을 보여준다.
• 픽셀 합 임계값(≤96 또는 >96)에 기반한 거짓 구조 (g, L')는 수학적으로 정의되었으며, 관측된 100% 대 0% 정확도 분할을 설명할 수 있기 때문에 실제로 네트워크가 학습한 구조의 타당한 후보로 제시된다.
• 네트워크의 행동은 더 단순하고 수치적으로 최적화하기 쉬운 거짓 구조를 학습했음을 시사하며, 이는 비록 매우 불안정하고 시각적으로 동일한 입력에서 실패하더라도 그렇다.
• 결과는 딥러닝 모델이 진정한 구조와 상관관계가 있는 더 단순하고 불안정한 표현인 ‘거짓 구조’를 학습한다는 추측을 지지한다. 이는 높은 정확도와 적대적 공격에 대한 취약성을 동시에 설명한다.