[논문 리뷰] $S^3$: Sign-Sparse-Shift Reparametrization for Effective Training of Low-bit Shift Networks

Xinlin Li, Bang Liu외 4명|arXiv (Cornell University)|2021. 07. 07.

Brain Tumor Detection and Classification인용 수 4

한 줄 요약

이 논문은 기존의 기울기 소실과 가중치 부호 동결 문제를 완화하기 위해 저비트 이산 가중치를 부호, 흐문성, 이동 성분으로 분해하는 새로운 방법인 S³(Sign-Sparse-Shift) 재매개변수화를 제안한다. 3차원 확장된 매개변수 공간에서 최적화함으로써 S³는 3비트 이동 네트워크가 전체 정밀도 모델과 동일한 ImageNet의 상위-1 정확도를 달성하게 하며, 사전 학습된 가중치에 의존하지 않고도 훈련 안정성과 성능을 향상시킨다.

ABSTRACT

Shift neural networks reduce computation complexity by removing expensive multiplication operations and quantizing continuous weights into low-bit discrete values, which are fast and energy efficient compared to conventional neural networks. However, existing shift networks are sensitive to the weight initialization, and also yield a degraded performance caused by vanishing gradient and weight sign freezing problem. To address these issues, we propose S low-bit re-parameterization, a novel technique for training low-bit shift networks. Our method decomposes a discrete parameter in a sign-sparse-shift 3-fold manner. In this way, it efficiently learns a low-bit network with a weight dynamics similar to full-precision networks and insensitive to weight initialization. Our proposed training method pushes the boundaries of shift neural networks and shows 3-bit shift networks out-performs their full-precision counterparts in terms of top-1 accuracy on ImageNet.

연구 동기 및 목표

• 백프로파게이션 중 기울기 소실과 가중치 부호 동결으로 인해 저비트 이동 네트워크의 성능이 떨어지고 훈련이 불안정해지는 문제를 해결하기 위해.
• 현재는 경쟁적인 성능을 내기 위해 사전 학습된 전체 정밀도 가중치가 필요로 하는 이동 네트워크의 가중치 초기화에 대한 민감성 문제를 극복하기 위해.
• 사전 학습된 전체 정밀도 가중치에 의존하지 않고도 낮은 비트 이동 네트워크를 효과적으로 무작위 초기화 상태에서 훈련시킬 수 있는 재매개변수화 기법을 개발하기 위해.
• ImageNet과 같은 대규모 벤치마크에서 3비트 이동 네트워크와 전체 정밀도 모델 간 성능 상호 교환 가능성을 달성하기 위해.
• 학습률 감쇠 및 정규화 강도와 같은 하이퍼파rameter 선택에 민감하지 않은, 이론적으로 탄탄한 안정된 훈련 전략을 제공하기 위해.

제안 방법

• 이산 가중치를 부호, 흐문성(흐문성 매개변수), 이동(비트 위치) 성분으로 3중 분해하는 S³ 재매개변수화를 도입하여 3차원 확장된 매개변수 공간을 구성한다.
• 훈련 중 이산 가중치의 ℓ₀ 노름을 최대화하는 밀도 높은 가중치 정규화를 사용하여 비영 활성화를 촉진하고 가중치 부호 동결을 방지한다.
• 비가역적 양자화기의 기울기를 근사하기 위해 직선 통과 추정기(STE)를 적용하지만, S³ 분해 덕분에 더 직교적인 최적화 역학을 확보한다.
• 흐문성 매개변수를 훈련 중 정규화하여 전체 정밀도 네트워크와 유사한 효과적인 가중치 역학을 유지함으로써 수렴성과 안정성을 향상시킨다.
• 최적화 과정에서 부호, 흐문성, 이동의 역할을 분리하여 각 성분을 별도로 더 효과적으로 학습할 수 있도록 한다.
• 밀도 높은 가중치 정규화 하이퍼파ram터 α에 대해 선형 또는 코사인 감쇠 스케줄러를 사용하지만, 결과적으로 메서드가 이 선택에 대해 매우 강건하며 대부분의 이점은 초기 훈련 단계에서 기인한다.

실험 결과

연구 질문

• RQ1 사전 학습된 가중치에 의존하지 않고도 저비트 이동 네트워크가 전체 정밀도 모델과 유사한 성능을 달성할 수 있는가?
• RQ2 부호-흐문성-이동 재매개변수화 전략이 저비트 훈련에서 기울기 소실과 가중치 부호 동결 문제를 효과적으로 완화하는가?
• RQ3 밀도 높은 가중치 정규화 강도 및 학습률 감쇠 스케줄러와 같은 하이퍼파ram터에 대해 제안된 방법이 얼마나 민감한가?
• RQ4 S³ 재매개변수화를 사용해 훈련한 3비트 이동 네트워크가 ImageNet에서 전체 정밀도 ResNet-18 및 ResNet-50의 상위-1 정확도를 도달하거나 초월할 수 있는가?
• RQ5 S³ 방법은 이진 매개변수의 빈번한 부호 변화가 발생하는 경우에도 저비트 이동 네트워크의 안정적이고 수렴 가능한 훈련을 가능하게 하는가?

주요 결과

• S³ 재매개변수화를 통해 3비트 이동 네트워크는 ResNet-18 기반으로 ImageNet에서 상위-1 정확도 69.83%를 달성하며, 전체 정밀도 모델과 동일한 성능을 보였다.
• 200개 훈련 에포크를 거친 3비트 S³ 네트워크는 ResNet-50 기반으로 ImageNet에서 상위-1 정확도 75.75%를 달성하여 전체 정밀도 모델과의 정확도 격차를 줄였다.
• 메서드는 하이퍼파ram터 선택에 대해 강건하다: α 값(1e-2에서 1e-6)과 감쇠 스케줄러(선형 및 코사인)의 다양한 조합에서도 성능이 안정적으로 유지된다.
• 밀도 높은 가중치 정규화가 없을 경우 훈련이 수렴하지 않으며, 이는 정규화가 가중치 부호 동결을 방지하고 안정적인 최적화를 가능하게 하기 위해 필수적임을 입증한다.
• 이전 방법에서 사전 학습된 가중치의 성능 향상 요인은 주로 좋은 초기 부호 추정에 기인하며, S³는 재매개변수화 설계 덕분에 이를 내재적으로 달성한다.
• 전체 정밀도 사전 학습에 대한 의존도를 줄여 무작위 초기화 상태에서 효과적인 훈련이 가능하게 하였으며, 높은 정확도와 강건성을 유지한다.