[논문 리뷰] DeepNNK: Explaining deep models and their generalization using polytope interpolation

Sarath Shekkizhar, Antonio Ortega|arXiv (Cornell University)|2020. 07. 20.

Adversarial Robustness in Machine Learning참고 문헌 42인용 수 4

한 줄 요약

이 논문은 Non-negative Kernel (NNK) 회귀를 통한 국소 다면체 보간을 활용하여 딥 네ural 네트워크를 설명하는 비모수적이고 기하학적으로 직관적인 프레임워크인 DeepNNK을 소개한다. 데이터 기하학에 기반한 적응형 가중치를 갖는 k-최근접 이웃을 활용함으로써 DeepNNK는 인스턴스 수준의 해석 가능성, 국소 제거 추정을 통한 일반화 능력이 우수한 모델 식별, 그리고 희박한 보간 이웃 구역의 산물로 나타나는 적대적 및 생성적 예제의 이론적 해석을 가능하게 한다.

ABSTRACT

Modern machine learning systems based on neural networks have shown great success in learning complex data patterns while being able to make good predictions on unseen data points. However, the limited interpretability of these systems hinders further progress and application to several domains in the real world. This predicament is exemplified by time consuming model selection and the difficulties faced in predictive explainability, especially in the presence of adversarial examples. In this paper, we take a step towards better understanding of neural networks by introducing a local polytope interpolation method. The proposed Deep Non Negative Kernel regression (NNK) interpolation framework is non parametric, theoretically simple and geometrically intuitive. We demonstrate instance based explainability for deep learning models and develop a method to identify models with good generalization properties using leave one out estimation. Finally, we draw a rationalization to adversarial and generative examples which are inevitable from an interpolation view of machine learning.

연구 동기 및 목표

• 딥 네ural 네트워크의 해석 가능성 부족 문제, 특히 모델 선택 및 예측 해석 가능성 측면에서의 한계를 해결하기 위해.
• 이론적 보장을 갖추면서도 고차원에서 단체형 보간의 복잡성을 피하는 기하학적 직관과 결합된 실용적인 보간 프레임워크를 개발하기 위해.
• 국소 다면체 구조를 통해 학습 데이터로 예측을 거슬러 올라가도록 함으로써 인스턴스 기반의 해석 가능성을 제공하기 위해.
• 보간 프레임워크에 대한 국소 제거 추정을 통해 일반화 능력이 뛰어난 모델을 식별하기 위해.
• 보간의 희박성과 불안정성의 관점에서 적대적 및 생성적 예제를 이론적으로 설명하기 위해.

제안 방법

• 학습 데이터로부터 보간 이웃 구역을 구성하기 위해 비음수 커널(NNK) 회귀에 기반한 국소 다면체 보간 방법을 제안한다.
• 고정된 이웃 선택 대신 데이터에 적응적이고 기하학적으로 정보를 갖춘 가중치를 사용하여, 유용한 이웃을 우선순위로 정하는 k-최근접 이웃을 기반으로 하지만 이를 대체한다.
• 각 학습 포인트를 제외했을 때의 예측 오차를 측정함으로써 일반화 능력을 평가하기 위해 국소 제거 추정 전략을 활용한다.
• CIFAR-10에서 AutoAugment로 훈련된 Wide-ResNet-28-10 아키텍처에 NNK 보간을 통합함으로써 딥 러닝 모델에 프레임워크를 적용한다.
• 특정 테스트 인스턴스에 대해 이웃 가중치의 변동성을 측정함으로써 모델의 취약성을 탐지하기 위해 식 (14)의 보간 산란도를 사용한다.
• 실제 이미지와 비교하여 보간 공간 내 평균 이웃 수를 분석함으로써 적대적 및 생성적 이미지를 분석한다.

실험 결과

연구 질문

• RQ1 기하학적 보간을 통해 딥 네ural 네트워크의 예측을 인스턴스 수준에서 어떻게 설명할 수 있는가?
• RQ2 기존 정규화 기법에 의존하지 않고도 보간 기반 방법이 모델 일반화에 대해 이론적 및 실용적 통찰을 제공할 수 있는가?
• RQ3 왜 적대적 및 생성적 예제는 자주 일반화되지 않으며, 이는 보간 행동을 통해 설명될 수 있는가?
• RQ4 보간 이웃 내 이웃 수가 모델의 안정성과 데이터 분포와 얼마나 관련이 있는가?
• RQ5 보간 프레임워크에 대한 국소 제거 추정이 모델 일반화 성능의 신뢰할 수 있는 대체 지표가 될 수 있는가?

주요 결과

• DeepNNK는 AutoAugment로 훈련된 Wide-ResNet-28-10을 사용하여 CIFAR-10에서 97.3%의 테스트 정확도를 달성하며, 원본 네트워크의 성능을 그대로 유지한다.
• 적대적 및 생성적 이미지는 실재 이미지에 비해 평균적으로 훨씬 적은 보간 이웃을 보이며, 이는 보간 공간 내 덜 조밀한 커버리지임을 시사한다.
• 특정 테스트 인스턴스에 대해 이웃 가중치의 변동성이 높은 것을 감지함으로써 프레임워크는 취약한 모델 예측을 식별하며, 이는 모델의 한계를 드러낸다.
• NNK 보간 프레임워크를 활용한 국소 제거 추정은 일반화 능력이 뛰어난 모델을 성공적으로 식별한다.
• 이 방법은 적대적 예제가 오직 몇몇 학습 포인트만이 영향을 주는 불안정하고 밀도가 낮은 영역에서의 보간으로 인해 발생한다고 이론적으로 설명한다.
• 연구는 생성적 및 적대적 예제가 임의의 이상치가 아니라, 최소한의 학습 데이터 지원이 있는 영역에서의 보간으로 발생함을 입증한다.