[논문 리뷰] On Geometric Structure of Activation Spaces in Neural Networks

Yuting Jia, Haiwen Wang외 4명|arXiv (Cornell University)|2019. 04. 02.

Neural Networks and Applications참고 문헌 25인용 수 5

한 줄 요약

이 논문은 완전 연결 신경망의 활성화 공간의 기하적 구조를 클래스별 활성화 벡터의 볼록껍데리 근사화를 통해 조사한다. 클래스별 활성화 벡터의 볼록껍데리를 효율적으로 근사하는 알고리즘을 제안하며, 다양한 데이터셋에서 일관되게 나타나는 네 가지 기하적 성질을 규명하여, 새로운 최근접 볼록껍데리 분류 방법을 제시한다. 이 방법은 일부 경우에서 딥 네트워크를 능가하며, 과적합 여부를 나타내는 지표로도 기능한다.

ABSTRACT

In this paper, we investigate the geometric structure of activation spaces of fully connected layers in neural networks and then show applications of this study. We propose an efficient approximation algorithm to characterize the convex hull of massive points in high dimensional space. Based on this new algorithm, four common geometric properties shared by the activation spaces are concluded, which gives a rather clear description of the activation spaces. We then propose an alternative classification method grounding on the geometric structure description, which works better than neural networks alone. Surprisingly, this data classification method can be an indicator of overfitting in neural networks. We believe our work reveals several critical intrinsic properties of modern neural networks and further gives a new metric for evaluating them.

연구 동기 및 목표

• 완전 연결 신경망의 활성화 공간 내부 기하적 구조를 밝혀내는 것.
• 활성화 벡터의 고차원 볼록껍데리를 효율적으로 근사하는 알고리즘을 개발하는 것.
• 활성화 공간의 기하적 성질이 표준 신경망 추론을 초월해 분류 성능 향상에 기여할 수 있는지 탐색하는 것.
• 볼록껍데리 기반 분석이 훈련된 모델의 과적합 여부를 진단하는 데 유용한 지표가 될 수 있는지 조사하는 것.

제안 방법

• 대규모 고차원 활성화 벡터의 볼록껍데리를 효율적으로 계산하기 위한 새로운 근사 알고리즘을 제안한다.
• 각 완전 연결 레이어에서 클래스별 활성화 벡터의 볼록껍데리를 분석함으로써 활성화 공간을 연구한다.
• 동일 클래스 및 다른 클래스의 활성화 벡터 간의 거리 분포를 활용해 기하적 성질을 특성화한다.
• 근사된 볼록껍데리를 결정 경계로 사용하는 최근접 볼록껍데리 분류 방법을 도입한다.
• 네 가지 벤치마크 데이터셋(MNIST, CIFAR-10, FOS-CS-5, GOOGLE-8)에서 방법을 검증한다.
• 훈련 및 테스트 성능을 볼록껍데리 분류기에서 비교함으로써 과적합 여부를 진단 도구로 활용한다.

실험 결과

연구 질문

• RQ1 다양한 데이터셋에서 완전 연결 레이어의 활성화 공간에 일관되게 존재하는 기하적 성질은 무엇인가?
• RQ2 효율적인 볼록껍데리 근사 알고리즘이 고차원 활성화 벡터의 구조를 효과적으로 포착할 수 있는가?
• RQ3 근사된 볼록껍데리 기반의 분류 성능이 동일한 데이터에 대해 원본 신경망보다 뛰어나게 되는가?
• RQ4 볼록껍데리 분류기에서 훈련 정확도와 테스트 정확도의 격차가 원본 네트워크의 과적합 여부를 잘 나타내는가?

주요 결과

• 완전 연결 레이어의 활성화 공간은 네 가지 일관된 기하적 성질을 보인다: 볼록껍데리가 클래스별 활성화 벡터를 견고하게 둘러싸며, 오염 포함 비율이 극히 낮다.
• 제안된 볼록껍데리 근사 알고리즘은 고차원 데이터를 효율적으로 처리하고, 기저 구조를 정확히 포착한다.
• 최근접 볼록껍데리 분류 방법은 MNIST, CIFAR-10, FOS-CS-5에서 원본 신경망보다 높은 테스트 정확도를 달성하며, GOOGLE-8에서는 동일한 성능을 기록한다.
• MNIST에서는 볼록껍데리 분류기가 96.8%의 테스트 정확도를 달성하여 원본 네트워크의 92.0%를 초월한다.
• 이 방법은 볼록껍데리 지표로 평가했을 때, 네트워크의 하위 레이어가 분류 정확도 기여도에서 더 높은 기여를 한다는 것을 드러낸다.
• 볼록껍데리 분류기의 훈련 정확도와 테스트 정확도의 격차는 원본 신경망의 과적합 여부를 신뢰할 수 있는 지표로 기능한다.