[논문 리뷰] Circuit-Based Intrinsic Methods to Detect Overfitting

Satrajit Chatterjee, Alan Mishchenko|arXiv (Cornell University)|2019. 07. 03.

Adversarial Robustness in Machine Learning참고 문헌 14인용 수 6

한 줄 요약

이 논문은 신경망의 일반화를 랜덤 포레스트와 유사하게 설명하는 인트리닉 방법인 대조 시뮬레이션(CFS)을 제안한다. CFS는 모델의 논리 회로 표현을 통해 학습 예제의 유량을 분석함으로써 과적합을 탐지한다. 이 방법은 희귀 패턴을 변형시켜 과적합 여부를 판단하며, 하이퍼파rameter나 테스트 데이터 없이도 작동한다. 결과적으로 확률적 경사 하강법이 브루트 포스 기억을 피하고 공통 패턴을 학습한다는 점을 드러내며, 이는 신경망의 일반화를 설명한다.

ABSTRACT

The focus of this paper is on intrinsic methods to detect overfitting. By intrinsic methods, we mean methods that rely only on the model and the training data, as opposed to traditional methods (we call them extrinsic methods) that rely on performance on a test set or on bounds from model complexity. We propose a family of intrinsic methods, called Counterfactual Simulation (CFS), which analyze the flow of training examples through the model by identifying and perturbing rare patterns. By applying CFS to logic circuits we get a method that has no hyper-parameters and works uniformly across different types of models such as neural networks, random forests and lookup tables. Experimentally, CFS can separate models with different levels of overfit using only their logic circuit representations without any access to the high level structure. By comparing lookup tables, neural networks, and random forests using CFS, we get insight into why neural networks generalize. In particular, we find that stochastic gradient descent in neural nets does not lead to "brute force" memorization, but finds common patterns (whether we train with actual or randomized labels), and neural networks are not unlike forests in this regard. Finally, we identify a limitation with our proposal that makes it unsuitable in an adversarial setting, but points the way to future work on robust intrinsic methods.

연구 동기 및 목표

• 테스트 세트나 복잡도 경계에 의존하지 않고, 모델과 학습 데이터만을 사용하여 과적합을 탐지하는 인트리닉 방법을 개발하는 것.
• 저데이터 환경이나 악성 설정에서 테스트 데이터가 손상될 수 있는 상황에서 외재적 방법의 한계를 해결하는 것.
• 고용량을 지닌 신경망이 어떻게 일반화되는지에 대한 통찰을 제공하기 위해 내부 신호 흐름을 분석하는 것.
• 신경망, 랜덤 포레스트, 룩업 테이블과 같은 모델에서 기억과 일반화 행동을 구분할 수 있는지 인트리닉 방법의 성능을 평가하는 것.
• 악성 노이즈 환경에서 인트리닉 탐지의 강건성을 탐색하고, 향후 강건한 인트리닉 방법을 위한 방향을 제시하는 것.

제안 방법

• CFS는 모델의 행동을 분석하기 위해 대조 시뮬레이션을 수행한다: 논리 회로 수준에서 소규모이고 타겟된 노이즈를 주입하여 출력 행동의 변화를 관찰한다.
• 이 방법은 모델의 논리 회로 표현을 기반으로 작동하며, 가중치나 레이어와 같은 고수준 아키텍처를 추상화하여 신호 수준의 패턴에 집중한다.
• 입력 패턴의 희귀성은 신호 또는 게이트의 인풋 수준에서 측정되며, 희귀 패턴은 민감도를 평가하기 위해 변형된다. 이는 과적합을 나타낸다.
• 간단한 CFS 변형은 하이퍼파rameter 없이 일괄적인 노이즈 주입을 사용하여 다양한 모델 유형에 균일하게 적용할 수 있다.
• 복합 CFS는 신호 그룹의 희귀성을 확장하여 구조화된 신호 패턴에서의 과적합을 탐지할 수 있다.
• 전역 희귀성은 회로를 통해 발생 빈도 수를 전파하여 패턴의 희귀성에 대해 더 엄격한 측정을 가능하게 한다.

실험 결과

연구 질문

• RQ1 테스트 데이터나 모델 복잡도 경계에 접근할 수 없을 때에도 인트리닉 방법이 과적합을 탐지할 수 있는가?
• RQ2 랜덤 레이블이 주어진 경우에도 신경망에서 확률적 경사 하강법이 브루트 포스 기억을 유도할까, 아니면 패턴 기반 학습을 유도할까?
• RQ3 신경망은 랜덤 포레스트나 룩업 테이블에 비해 타겟된 노이즈와 희귀 패턴에 대해 얼마나 내성적인가?
• RQ4 논리 회로 수준의 분석이 모델 아키텍처에 관계없이 일반화 행동을 드러낼 수 있는가?
• RQ5 CFS의 한계는 악성 설정에서 어떻게 드러나며, 전역 희귀성 측정을 통해 이를 극복할 수 있는가?

주요 결과

• CFS는 모델의 구조나 테스트 데이터에 접근하지 않고도 논리 회로 표현만을 사용하여 신경망, 랜덤 포레스트, 룩업 테이블에서 과적합을 성공적으로 탐지한다.
• 확률적 경사 하강법으로 학습된 신경망은 레이블이 무작위화된 경우에도 브루트 포스 기억을 보이지 않으며, 이는 패턴 기반 학습을 의미한다.
• 랜덤 포레스트는 신경망보다 약 1,000배 더 노이즈에 강건하여 신뢰할 수 없는 하드웨어 환경에서 더 높은 내성성을 지닌다.
• 이 방법은 신경망과 랜덤 포레스트가 희귀 패턴을 기억하기보다는 공통 패턴을 학습한다는 점을 드러내며, 이는 일반화 행동을 설명한다.
• CFS에서 전역 희귀성 측정은 랜덤 포레스트에서의 과적합 탐지 성능을 향상시키며, 악성 공격에 대한 저항력을 높일 수 있다.
• 후기에서는 일반화와 기억의 공통된 기반을 제공하는 이론인 일관된 기울기( Coherent Gradients )를 제안하며, 일반화와 기억의 메커니즘을 통합적으로 설명한다.