[논문 리뷰] Channel-Wise Early Stopping without a Validation Set via NNK Polytope Interpolation

David Bonet, Antonio Ortega외 2명|arXiv (Cornell University)|2021. 07. 27.

Domain Adaptation and Few-Shot Learning참고 문헌 25인용 수 4

한 줄 요약

이 논문은 ConvNets를 위한 새로운 초기 정지 기준인 채널별 딥NNK(CW-DeepNNK)을 제안한다. 이 기준은 NNK 그래프를 사용하여 개별 네트워크 채널에서 국소 폴리토프 보간을 통해 일반화 성능를 추정한다. 기존 표준 방법과 달리 검증 세트가 필요 없으며, 채널별 정지 시간을 제공하고, 과제에 특화된 성능 지표와 효율적인 LOO 계산 빈도를 활용하여 더 적은 학습 시간으로 최신의 테스트 정확도를 달성한다.

ABSTRACT

State-of-the-art neural network architectures continue to scale in size and deliver impressive generalization results, although this comes at the expense of limited interpretability. In particular, a key challenge is to determine when to stop training the model, as this has a significant impact on generalization. Convolutional neural networks (ConvNets) comprise high-dimensional feature spaces formed by the aggregation of multiple channels, where analyzing intermediate data representations and the model's evolution can be challenging owing to the curse of dimensionality. We present channel-wise DeepNNK (CW-DeepNNK), a novel channel-wise generalization estimate based on non-negative kernel regression (NNK) graphs with which we perform local polytope interpolation on low-dimensional channels. This method leads to instance-based interpretability of both the learned data representations and the relationship between channels. Motivated by our observations, we use CW-DeepNNK to propose a novel early stopping criterion that (i) does not require a validation set, (ii) is based on a task performance metric, and (iii) allows stopping to be reached at different points for each channel. Our experiments demonstrate that our proposed method has advantages as compared to the standard criterion based on validation set performance.

연구 동기 및 목표

• 검증 세트에 의존하지 않고 딥러닝에서 최적의 학습 정지 시점을 결정하는 데 도전하는 것.
• 중간 활성화를 채널 수준에서 분석함으로써 학습된 특징 표현의 인스턴스 기반 해석 가능성을 제공하는 것.
• 각 컨볼루션 필터의 고유한 기여도와 학습 역학을 반영하는 채널별 일반화 추정을 개발하는 것.
• 로컬 성능에 기반해 각 채널별 학습 기간을 적응적으로 조절하는 초기 정지 기준을 제안하여 효율성과 일반화 성능 향상하는 것.
• 검증을 위해 레이블된 데이터를 할당할 필요 없이 높은 테스트 정확도를 유지하는 것. 특히 데이터가 적은 환경에서 유용하다.

제안 방법

• 중간 레이어 활성화의 저차원 부분벡터(채널)에 대해 NNK 그래프를 구축함으로써, 일반화 추정을 위한 국소 폴리토프 보간을 가능하게 한다.
• NNK 폴리토프에서의 떠나기-한 개(LOO) 분류 성능을 채널별 일반화 지표로 사용한다.
• 특정 채널에서 LOO 성능 향상이 멈출 경우 채널별 초기 정지 규칙을 적용하여 각 채널의 다른 정지 시간을 허용한다.
• 고차원 특징 공간에서의 강건성을 확보하기 위해 범위 정규화된 코사인 및 가우시안 커널을 활용한다.
• 계산 비용을 줄이기 위해 LOO 계산 주기를 감소시켜(예: 매 T 에포크마다) 성능 손실 없이 수행한다.
• 모든 옵티마이저와 호환되며, 하이퍼파rameter 튜닝이나 검증 데이터가 필요 없다.

실험 결과

연구 질문

• RQ1 검증 세트 없이 국소 폴리토프 보간을 사용해 채널별 일반화를 효과적으로 추정할 수 있는가?
• RQ2 LOO 성능에 기반한 채널별 초기 정지가 표준 검증 기반 방법과 비교해 테스트 정확도를 향상시키고 학습 시간을 단축하는가?
• RQ3 모든 레이블된 데이터를 학습에 활용함으로써, 제안된 방법이 데이터가 적은 환경에서도 높은 성능을 유지할 수 있는가?
• RQ4 LOO 계산 주기가 초기 정지 기준의 효율성과 정확도에 어떤 영향을 미치는가?
• RQ5 낮은 예측 유용성을 가진 채널을 탐지해 향후 모델 압축을 위한 프루닝에 활용할 수 있는가?

주요 결과

• 코사인 커널을 사용한 CW-DeepNNK는 테스트 정확도와 학습 반복 횟수 사이의 최적의 트레이드오프를 달성하여, 검증 기반 초기 정지 및 전체 벡터 기반 DeepNNK를 모두 능가한다.
• 모든 레이블된 데이터를 학습에 사용함으로써 검증 기반 초기 정지 방법과 동일하거나 뛰어난 테스트 정확도를 유지하며, 검증을 위해 데이터를 할당할 필요 없이 제거된다.
• LOO 계산 주기를 매 10 에포크로 줄여도 테스트 정확도와 정지 시간을 유지하면서, 검증 기반 방법과 유사한 계산 효율성을 달성한다.
• 작은 데이터 설정(1000개 샘플)에서는 전체 데이터 활용 덕분에 검증 기반 접근보다 더 높은 테스트 정확도를 달성한다.
• 표준 방법보다 과적합을 더 일찍 탐지해 일반화 성능을 훼손하지 않고도 조기에 정지할 수 있다.
• 채널별 학습 종료를 가능하게 하여, 일부 채널이 다른 채널보다 먼저 최적의 성능에 도달함으로써 필터 간 학습 속도의 이질성을 반영한다.