[논문 리뷰] Overcoming Challenges in Fixed Point Training of Deep Convolutional Networks

Darryl Dexu Lin, Sachin S. Talathi|arXiv (Cornell University)|2016. 07. 08.

Model Reduction and Neural Networks참고 문헌 8인용 수 29

한 줄 요약

이 논문은 딥 컨volution 네트워크의 고정점 학습에서 저해상도 활성화 함수로 인한 기울기 불일치가 불안정성의 근본 원인임을 규명한다. 저자는 고정점 활성화를 사용한 미세조정, 상위 레이어만 미세조정, 반복적인 하향식 미세조정이라는 세 가지 상호보완적인 기법을 제안하며 수렴성과 정확도를 크게 향상시킨다. 결과적으로 4비트 활성화/가중치 네트워크로 ImageNet에서 25.3%의 Top-5 오차를 달성하였으며, 일부 경우에서 이는 부동소수점 기준선을 초월한다.

ABSTRACT

It is known that training deep neural networks, in particular, deep convolutional networks, with aggressively reduced numerical precision is challenging. The stochastic gradient descent algorithm becomes unstable in the presence of noisy gradient updates resulting from arithmetic with limited numeric precision. One of the well-accepted solutions facilitating the training of low precision fixed point networks is stochastic rounding. However, to the best of our knowledge, the source of the instability in training neural networks with noisy gradient updates has not been well investigated. This work is an attempt to draw a theoretical connection between low numerical precision and training algorithm stability. In doing so, we will also propose and verify through experiments methods that are able to improve the training performance of deep convolutional networks in fixed point.

연구 동기 및 목표

• 딥 컨volution 네트워크의 저해상도 고정점 학습에서의 학습 불안정성의 이론적 근본 원인을 조사한다.
• 저해상도 활성화 함수가 아니라 가중치가 기울기 불일치와 불안정성의 주요 원인임을 규명한다.
• 고정점 미세조정에서 학습을 안정화하고 수렴성을 향상시키기 위한 실용적이고 상호보완적인 기법을 제안한다.
• 최소한의 하이퍼파rameter 튜닝으로도 ImageNet 분류에서 이러한 방법의 효과를 입증한다.
• 양자화에 의해 유도된 비미분 가능 활성화 함수가 역전파에 어떻게 영향을 미치는지 이해하기 위한 이론적 기반을 제공한다.

제안 방법

• 고정점 네트워크에서 가정된 미분 가능 활성화 함수(예: ReLU)와 실제 비미분 가능 양자화된 함수 사이의 괴리 분석.
• 기울기 불일치 문제를 기반으로 기울기 역전파 시 잘못된 도함수를 사용하는 것으로 수식화.
• 제안 1: 사전 학습된 부동소수점 네트워크를 고정점 활성화로 미세조정하며, 가중치는 고정점으로 유지.
• 제안 2: 하위 레이어를 고정한 후 상위 완전연결 레이어만 미세조정하여 기울기 오차 축적을 줄임.
• 제안 3: 하향식으로 단계별로 반복적으로 미세조정하여 각 단계에서 정확한 기울기 계산을 보장.
• 모든 방법을 동일한 조건에서 평가하기 위해 ImageNet 분류를 벤치마크로 사용하며, 실험에서는 난수 반올림을 적용하지 않음.

실험 결과

연구 질문

• RQ1 왜 저해상도 고정점 활성화를 사용한 딥 컨볼루션 네트워크 학습이 불안정하고 발산하는가?
• RQ2 고정점 학습에서 기울기 불일치의 주요 원인은 가중치인지 활성화 함수인지이며, 이는 역전파에 어떻게 영향을 미치는가?
• RQ3 기울기 오차가 역전파 과정에서 축적될 경우, 저해상도 활성화를 가진 깊은 네트워크에서 수렴에 어떤 영향을 미치는가?
• RQ4 반복적이고 하향식으로 진행되는 미세조정은 기울기 불일치를 완화하고 학습의 안정성 및 정확도를 향상시킬 수 있는가?
• RQ5 매우 낮은 비트 폭(예: 4비트)을 가진 고정점 네트워크가 전체 정밀도 기준선 대비 경쟁 가능한 정확도를 달성할 수 있는가?

주요 결과

• 저해상도 활성화 함수는 비미분 가능 효과 활성화 함수를 유도하여 SGD의 불안정성을 유발하는 근본적인 기울기 불일치를 초래한다.
• 기울기 불일치 문제는 기울기 역전파 과정에서 오차가 축적됨에 따라 깊이가 증가할수록 악화되어 저해상도 환경에서 학습이 발산하게 된다.
• 제안 1—고정점 활성화로 미세조정—4비트 활성화와 16비트 가중치로 31.3%의 Top-5 오차를 달성하여 일반적인 미세조정보다 뚜렷한 성능 향상을 보였다.
• 제안 2—상위 완전연결 레이어만 미세조정—4비트 활성화와 4비트 가중치로 오차를 23.3%까지 낮춰 국소적 개선을 보였다.
• 제안 3—반복적인 하향식 미세조정—최고의 성능을 기록하여 4비트/4비트 네트워크로 25.3%의 Top-5 오차를 달성하였으며, 일부 설정에서 부동소수점 기준선을 초월했다.
• 최소한의 하이퍼파rameter 튜닝으로도 제안된 방법들이 저비트 고정점 네트워크 분야에서 최고 성능을 달성하며, 기울기 불일치 문제를 해결하는 것이 효과적임을 입증했다.