[논문 리뷰] Training Neural Networks with Fixed Sparse Masks

Yi-Lin Sung, Varun Nair외 1명|arXiv (Cornell University)|2021. 11. 18.

Domain Adaptation and Few-Shot Learning참고 문헌 48인용 수 4

한 줄 요약

이 논문은 훈련 중 기울기 업데이트를 위해 경험적 페셔 정보를 기반으로 k개의 가장 중요한 파라미터를 선택하는 고정된 희소 마스크인 FISH Mask를 제안한다. 여러 반복 동안 이들 고중요도 파라미터만 업데이트함으로써, 전이 학습 및 분산 학습 환경에서 메모리 및 통신 비용을 줄이며, 10% 희소성에서 최소한의 정확도 손실로 표준 훈련 성능을 유지하거나 초월한다.

ABSTRACT

During typical gradient-based training of deep neural networks, all of the model's parameters are updated at each iteration. Recent work has shown that it is possible to update only a small subset of the model's parameters during training, which can alleviate storage and communication requirements. In this paper, we show that it is possible to induce a fixed sparse mask on the model's parameters that selects a subset to update over many iterations. Our method constructs the mask out of the $k$ parameters with the largest Fisher information as a simple approximation as to which parameters are most important for the task at hand. In experiments on parameter-efficient transfer learning and distributed training, we show that our approach matches or exceeds the performance of other methods for training with sparse updates while being more efficient in terms of memory usage and communication costs. We release our code publicly to promote further applications of our approach.

연구 동기 및 목표

• 대규모 신경망 훈련에서 높은 저장소 및 통신 비용을 해결하기 위해, 특히 전이 학습 및 분산/연합 학습 환경에서.
• 모든 파라미터가 아닌 소수의 고정된 하위집합만 업데이트함으로써 모델 업데이트 오버헤드를 줄이기 위해.
• 새로운 파라미터를 추가하거나 업데이트 마스크를 동적으로 변경하지 않는 모델에 종속되지 않은 효율적인 희소 파라미터 업데이트 방법을 개발하기 위해.
• 대역폭이나 저장소가 제한된 환경(예: 모델 체크포인팅 및 연합 학습)에서의 실용적 구현을 가능하게 하기 위해.
• 파라미터 중요도(페셔 정보를 통해) 기반의 고정된 희소 마스크가 최소한의 성능 저하로 높은 성능을 유지할 수 있음을 입증하기 위해.

제안 방법

• 작은 데이터 배치에서의 각 샘플 기울기의 분산으로 계산된 경험적 페셔 정보를 사용해 파라미터 중요도를 추정한다.
• 페셔 정보 값이 가장 높은 k개의 파라미터를 선택하여 고정된 희소 마스크를 구성하며, 훈련 중에는 오직 이들 파라미터만 업데이트된다.
• 페셔 근사치를 효율적으로 계산하기 위해 작은 샘플 세트(N=1024, 또는 분산 환경에서는 N=256)에 대해 단일 순방향 및 역방향 전파를 수행한다.
• 표준 확률적 경사하강법(SGD)을 사용하지만, 사전에 계산된 FISH 마스크에 의해 선택된 파라미터들만 업데이트되도록 제한한다.
• 모든 훈련 반복 동안 동일한 마스크를 유지하며, 재계산이나 동적 재구성 없이 고정된 마스크를 사용한다.
• 모델 아키텍처를 수정하지 않고 최적화기 단계에서 이진 마스크를 적용함으로써 기존 훈련 파ip라인과의 호환성을 확보한다.

실험 결과

연구 질문

• RQ1 파라미터 중요도 기반의 고정된 희소 마스크가 통신 및 저장 비용을 줄이면서도 높은 모델 성능을 유지할 수 있는가?
• RQ2 희소 훈련에서 랜덤 또는 히وري스틱 선택과 비교해, 페셔 정보를 파라미터 중요도의 대체 지표로 사용할 경우 성능는 어떻게 되는가?
• RQ3 마스크의 희소성과 업데이트 빈도가 파라미터 효율적인 전이 학습에서 모델 정확도에 미치는 영향은 무엇인가?
• RQ4 페셔 계산은 자원 소비 측면에서 얼마나 효율적인가? 안정적인 성능을 확보하기 위해 몇 개의 샘플이 필요한가?
• RQ5 고정된 FISH 마스크를 라이트닝 티켓 가설이 제안하는 바와 같이, 라이트닝 티켓 스타일의 희소 서브넷을 식별하는 데 사용할 수 있는가?

주요 결과

• 10% 희소성에서 FISH Mask 훈련은 GLUE 벤치마크에서 93.9%의 정확도를 달성하여 표준 훈련 성능과 동일하다.
• 매 에포크마다 FISH 마스크를 갱신함으로써 10% 희소성에서 전체 훈련과 거의 동일한 성능를 유지하며, 저장 필요량을 5배 줄였다.
• 모든 테스트된 희소성 수준에서 FISH Mask의 성능는 무작위 마스크보다 뚜렷하게 뛰어나며, 낮은 희소성에서도 최소한의 성능 저하를 보였다.
• 단지 32개의 샘플만으로도 페셔 근사치를 계산해 near-optimal 성능를 달성함으로써, 중요도 추정의 데이터 효율성이 높음을 시사한다.
• 10% 희소성에서 고정된 FISH 마스크는 정확도가 몇 퍼센트 정도만 감소시키며, 라이트닝 티켓 서브넷을 식별할 잠재력이 있음을 시사한다.
• 경험적 페셔 근사치는 진정한 페셔 정보와 동일한 성능를 보이며, 성능 손실 없이 더 빠르고 실용적인 마스크 계산을 가능하게 한다.