[논문 리뷰] LCA: Loss Change Allocation for Neural Network Training

Janice Lan, Rosanne Liu외 2명|arXiv (Cornell University)|2019. 01. 01.

Model Reduction and Neural Networks인용 수 12

한 줄 요약

이 논문은 룬게쿠타 기반 경로 적분 근사법을 사용하여 신경망 손실의 변화를 개별 파라미터에 보수적으로 할당하는 손실 변화 할당(Loss Change Allocation, LCA)을 소개한다. LCA는 각 훈련 단계에서 약 50% 이하의 파라미터만 긍정적으로 기여하며, 일부 레이어는 단계 지연로 인해 학습을 해치는 경향이 있음을 드러내며, 학습 증분이 레이어 간에 동기화됨을 보여준다.

ABSTRACT

Neural networks enjoy widespread use, but many aspects of their training, representation, and operation are poorly understood. In particular, our view into the training process is limited, with a single scalar loss being the most common viewport into this high-dimensional, dynamic process. We propose a new window into training called Loss Change Allocation (LCA), in which credit for changes to the network loss is conservatively partitioned to the parameters. This measurement is accomplished by decomposing the components of an approximate path integral along the training trajectory using a Runge-Kutta integrator. This rich view shows which parameters are responsible for decreasing or increasing the loss during training, or which parameters or the network's learning, respectively. LCA may be summed over training iterations and/or over neurons, channels, or layers for increasingly coarse views. This new measurement device produces several insights into training. (1) We find that barely over 50% of parameters help during any given iteration. (2) Some entire layers hurt overall, moving on average against the training gradient, a phenomenon we hypothesize may be due to phase lag in an oscillatory training process. (3) Finally, increments in learning proceed in a synchronized manner across layers, often peaking on identical iterations.

연구 동기 및 목표

• 일반적으로 스칼라 손실만 모니터링되는 신경망 훈련의 해석 가능성 부족 문제를 해결하기 위해.
• 훈련 과정에서 손실 감소 또는 증가에 기여하는 개별 파라미터를 정밀하게 분석할 수 있는 방법을 개발하기 위해.
• 개별 파라미터, 뉴런, 레이어의 역할이 훈련 과정에서 어떻게 변화하는지 이해하기 위해.
• 학습이 레이어 간에 동기화된 버스트 방식으로 일어나는지, 그리고 일부 구성 요소가 최적화를 실제로 방해하는지 조사하기 위해.

제안 방법

• LCA는 훈련 경로를 따라 손실 기울기의 경로 적분을 룬게쿠타 적분기로 분해하여 손실 변화 할당을 계산한다.
• 최적화 경로 동안의 기여도에 기반해 손실 변화에 대한 책임을 개별 파라미터에 보수적으로 할당한다.
• 반복 또는 구조적 단위(예: 레이어, 뉴런)에 따라 LCA 값을 합산함으로써 파라미터, 레이어 또는 뉴런 수준의 분석이 가능하다.
• LCA는 훈련 단계별로 반복적으로 계산되어 시간에 따른 파라미터 수준 기여도 추적을 가능하게 한다.
• 확률적 경사 하강법의 고차원적 비선형 역학을 다루기 위해 근사 경로 적분을 사용한다.
• 반복 또는 레이어 간 집계를 통해 네트워크 학습 역학의 개괄적 시각을 제공할 수 있다.

실험 결과

연구 질문

• RQ1 각 훈련 반복 단계에서 손실 감소 또는 증가에 기여하는 파라미터는 무엇인가?
• RQ2 어느 특정 단계에서 손실 감소에 실제로 기여하는 파라미터의 비율은 얼마인가?
• RQ3 전체 레이어가 때로 훈련 목표에 반대되는 행동을 하는 경우가 있으며, 만약 그렇다면 그 이유는 무엇인가?
• RQ4 신경망에서 학습은 레이어 간에 동기화되어 일어나는가? 그리고 학습 버스트는 동시에 발생하는가?

주요 결과

• 모든 훈련 반복 단계에서 평균적으로 손실 감소에 긍정적으로 기여하는 파라미터의 수는 50% 미만이다.
• 일부 전체 레이어는 평균적으로 손실 감소에 네거티브 기여를 보이며, 훈련 기울기와 반대 방향으로 움직인다.
• 관찰된 레이어 수준의 해로움은 진동하는 훈련 과정에서 발생하는 단계 지연에서 기인할 가능성이 있다.
• 레이어 간 학습 증분이 동기화되어 있으며, 종종 같은 훈련 반복 단계에서 피크를 이룬다.
• LCA는 손실 변화에 대한 파라미터 기여도가 매우 다이나믹하고 시간에 따라 변동성이 크다는 것을 드러낸다.
• 이 방법은 파라미터의 기여도가 비균일하고 비단조화적임을 드러내는 이전에 숨겨진 역학을 밝혀냈다.