[논문 리뷰] Understanding intermediate layers using linear classifier probes

Guillaume Alain, Yoshua Bengio|arXiv (Cornell University)|2016. 10. 05.

Neural Networks and Applications인용 수 117

한 줄 요약

이 논문은 선형 분류기 프로브를 도입하여 신경망의 각 층에서 특징의 선형 분리를 측정하고, 심층으로 갈수록 단조로운 개선을 보이며 ResNet-50 및 Inception v3에서 진단 용도를 시연한다.

ABSTRACT

Neural network models have a reputation for being black boxes. We propose to monitor the features at every layer of a model and measure how suitable they are for classification. We use linear classifiers, which we refer to as "probes", trained entirely independently of the model itself. This helps us better understand the roles and dynamics of the intermediate layers. We demonstrate how this can be used to develop a better intuition about models and to diagnose potential problems. We apply this technique to the popular models Inception v3 and Resnet-50. Among other things, we observe experimentally that the linear separability of features increase monotonically along the depth of the model.

연구 동기 및 목표

• 모델 학습에 영향을 주지 않으면서 층별 선형 분리를 평가하는 학습 가능한 선형 분류기인 프로브를 제안한다.
• 중간 표현을 이해하기 위해 프로브 성능이 층을 따라 어떻게 변화하는지 분석한다.
• 인기 있는 CNN에서 이 접근법을 시연하여 학습 dynamics와 잠재적 문제를 진단한다.
• 더 깊은 층이 분류를 위한 더 나은 선형 분리를 보이는 경향이 있다는 실증적 증거를 제시한다.

제안 방법

• 프로브를 H_k를 클래스 확률로 매핑하는 선형 분류기 f_k로 정의하고, softmax(Wh_k + b)를 통해 계산한다.
• 프로브를 모델과 독립적으로 학습시키고 모델 매개변수는 고정된 상태로 두며(프로브에 대해 역전파 비적용).
• L_k^train, L_k^valid 또는 오류율을 평가하여 깊이에 따라 분리 가능성이 어떻게 진화하는지 모니터링한다.
• 프로브에 맞추기 위해 고차원 특징의 차원 축소와 같은 실용적 문제를 다룬다.
• 프로브 학습에 볼록 최적화를 사용하여 전역 최적점을 보장한다.
• 층 간 및 학습 시간에 따른 프로브 성능을 비교하여 표현에 대한 직관을 쌓는다.

실험 결과

연구 질문

• RQ1 깊이가 증가함에 따라 중간 층 특징이 선형 분리 가능성을 증가시키는가?
• RQ2 프로브 측정이 최종 손실을 넘어 학습 dynamics를 진단하고 문제 있는 모델 동작을 식별할 수 있는가?
• RQ3 훈련 중 및 수렴 후 잘 알려진 아키텍처(ResNet-50, Inception v3)에서 프로브가 어떻게 작동하는가?
• RQ4 프로브를 적합시킬 때 높은 특징 차원을 다루는 데 도움이 되는 실제 전략은 무엇인가?
• RQ5 프로브에 의해 유도된 측정이 서로 다른 데이터셋과 라벨 목표에 대해 견고한가?

주요 결과

• 프로브 오차는 더 깊은 층일수록 단조롭게 감소하는 경향이 있어 특징의 선형 분리가 증가함을 시사한다.
• 더 깊은 특징은 일반적으로 프로브로 타깃 클래스를 더 잘 예측하며, 이는 탐욕적이고 점진적으로 추상화되는 표현을 시사한다.
• 프로브는 최종 과제 성능만으로는 드러나지 않는 실패하거나 병리적 학습 역학을 진단할 수 있다.
• ResNet-50에서 층별 검증 예측 오차는 깊이 증가에 따라 거의 단조적으로 감소하는 경향을 보이며 단조 분리 가능성 주장에 힘을 실어준다.
• Inception v3에서 프로브 기반 층 예측은 상당한 학습 후 층 간 선형 분리 가능성이 매끄럽고 거의 단조적으로 증가하는 것을 보인다.
• 투영/특징 차원 축소 전략은 매우 고차원인 층에서 프로브를 실용적으로 적합시키는 데 중요하다.