[논문 리뷰] Towards an Understanding of Neural Networks in Natural-Image Spaces

Yifei Fan, Anthony Yezzi|arXiv (Cornell University)|2018. 01. 27.

Adversarial Robustness in Machine Learning참고 문헌 36인용 수 3

한 줄 요약

이 논문은 기하학적 및 위상수학적 원리를 통해 자연 이미지 공간을 모델링하여 딥 뉴럴 네트워크에서 데이터셋 편향과 적대적 예제를 통합적으로 설명한다. 일관되게 잘못 분류되는 유령화된 훈련 샘플을 식별하고 훈련 중에 '랜덤 노이즈' 카테고리를 도입함으로써 정확도를 향상시키고 견고성을 높인다. 추가 하드웨어 없이도 테스트 정확도가 3% 향상되었으며, 과적합은 감소하고 일반화 능력은 향상된다.

ABSTRACT

Two major uncertainties, dataset bias and adversarial examples, prevail in state-of-the-art AI algorithms with deep neural networks. In this paper, we present an intuitive explanation for these issues as well as an interpretation of the performance of deep networks in a natural-image space. The explanation consists of two parts: the philosophy of neural networks and a hypothetical model of natural-image spaces. Following the explanation, we 1) demonstrate that the values of training samples differ, 2) provide incremental boost to the accuracy of a CIFAR-10 classifier by introducing an additional "random-noise" category during training, 3) alleviate over-fitting thereby enhancing the robustness against adversarial examples by detecting and excluding illusive training samples that are consistently misclassified. Our overall contribution is therefore twofold. First, while most existing algorithms treat data equally and have a strong appetite for more data, we demonstrate in contrast that an individual datum can sometimes have disproportionate and counterproductive influence and that it is not always better to train neural networks with more data. Next, we consider more thoughtful strategies by taking into account the geometric and topological properties of natural-image spaces to which deep networks are applied.

연구 동기 및 목표

• 딥 러닝의 지속적인 불확실성—데이터셋 편향과 적대적 예제—을 자연 이미지 공간의 기하학적 및 위상수학적 구조를 분석하여 해결하고자 한다.
• 더 많은 훈련 데이터가 항상 성능을 향상시킨다는 가정을 도전하며, 개별 샘플이 비례하지 않게 심각하고 심지어 역효과를 미칠 수 있음을 보여주고자 한다.
• 일관되게 잘못 분류되는 '유령화된' 샘플을 탐지하고 재분류함으로써 견고성과 정확도를 향상시키는 데이터 인지 훈련 전략을 개발하고자 한다.
• 몫공간과 동치류를 기반으로 한 자연 이미지 공간의 가설 모델을 제안하여 더 효과적인 네트워크 훈련을 이끌고자 한다.

제안 방법

• 훈련 중에 새로운 '랜덤 노이즈' 카테고리를 도입하여 CIFAR-10 분류기 정확도를 점진적으로 향상시키며, 심지어 의미 없는 데이터라도 성능 향상에 기여할 수 있음을 입증한다.
• 일관되게 잘못 분류되는 '유령화된' 훈련 샘플을 식별하고 제외함으로써 과적합을 감소시키고 적대적 예제에 대한 견고성을 향상시킨다.
• 훈련 중 누적 혼동 행렬을 구성하여 높은 오분류 빈도를 기반으로 유령화된 샘플을 식별한다.
• 몰입공간 모델을 적용하여 이미지 동치류를 분할하고, 유령화된 샘플을 새로운 카테고리로 재라벨링하며, 이를 위해 별도의 분류기를 훈련시킨다.
• 추론 시에 유령화된 테스트 샘플을 전용 분류기로 라우팅하기 위해 Look-up Table 또는 결정트리 사용으로 전체 정확도를 향상시킨다.
• 유령화된 샘플 제거로 인해 과적합 감소로 인해 더 높은 학습률로 네트워크를 훈련할 수 있으며, 이는 기저 이미지 공간 기하학과의 더 나은 일치를 의미한다.

실험 결과

연구 질문

• RQ1 자연 이미지 공간의 기하학적 및 위상수학적 성질이 데이터셋 편향과 적대적 예제에 어떻게 기여하는가?
• RQ2 의미 없는 콘텐츠가 없는 상태에서 랜덤 노이즈 카테고리를 훈련에 포함시키면 분류기 정확도가 향상될 수 있는가?
• RQ3 개별 훈련 샘플—특히 일관되게 잘못 분류되는 샘플—이 모델의 일반화 능력과 견고성에 얼마나 큰 영향을 미치는가?
• RQ4 이미지 동치류의 몰입공간 모델이 모델 복잡도를 증가시키지 않고도 분류 정확도와 견고성을 향상시킬 수 있는가?
• RQ5 훈련 샘플의 품질과 영향력을 어떻게 측정하고 네트워크 성능 향상에 활용할 수 있는가?

주요 결과

• 훈련 중 랜덤 노이즈 카테고리를 추가함으로써 청소년 테스트 이미지에서 CIFAR-10 분류기 정확도가 3% 향상되었으며, 이는 의미 없는 데이터가 성능 향상에 기여할 수 있음을 입증한다.
• 일관되게 잘못 분류되는 유령화된 훈련 샘플을 제거함으로써 적대적 예제에 대한 견고성 향상이 명백하게 관찰되었다.
• 이 방법은 청소년 샘플 정확도가 약간 감소하는 조건에서도 적대적 예제에서 더 높은 정확도를 달성했으며, 일부 경우에서 표준 적대적 훈련을 초월했다.
• 제안된 전략은 과적합 감소로 인해 더 높은 학습률로 훈련이 가능하게 하여 최적화 안정성이 향상됨을 나타냈다.
• 누적 혼동 행렬은 효과적으로 유령화된 샘플을 식별했으며, 이는 방법이 문제 있는 훈련 인스턴스를 탐지하는 데 성공했음을 검증한다.
• 몰입공간 모델은 전용 분류기와 룩업 메커니즘을 통해 어려운 샘플을 격리하고 재분류함으로써 3%의 정확도 향상을 달성했다.