[논문 리뷰] Learning Sparse Networks Using Targeted Dropout

Aidan N. Gomez, Chunshun Zhang외 5명|arXiv (Cornell University)|2019. 05. 31.

Machine Learning and ELM참고 문헌 42인용 수 76

한 줄 요약

타깃드롭아웃은 학습 중 최저-크기 가중치를 선택적으로 드롭하여 프루닝에 강건하도록 네트워크를 학습시키고, 다양한 아키텍처와 데이터셋에서 매우 높은 희소성으로도 최소한의 정확도 손실을 달성한다.

ABSTRACT

Neural networks are easier to optimise when they have many more weights than are required for modelling the mapping from inputs to outputs. This suggests a two-stage learning procedure that first learns a large net and then prunes away connections or hidden units. But standard training does not necessarily encourage nets to be amenable to pruning. We introduce targeted dropout, a method for training a neural network so that it is robust to subsequent pruning. Before computing the gradients for each weight update, targeted dropout stochastically selects a set of units or weights to be dropped using a simple self-reinforcing sparsity criterion and then computes the gradients for the remaining weights. The resulting network is robust to post hoc pruning of weights or units that frequently occur in the dropped sets. The method improves upon more complicated sparsifying regularisers while being simple to implement and easy to tune.

연구 동기 및 목표

• 신경망의 희소화를 촉진하여 계산 및 저장 요구를 줄이되 큰 정확도 손실은 피한다.
• 중요하지 않은 가중치에 드롭아웃을 타깃팅하여 사후 프루닝에 네트워크를 강건하게 만드는 학습 절차를 제안한다.
• 전체 학습 후 프루닝에 대한 희소성-정확도 트레이드를 표준 정규화 항 또는 프루닝 휴리스틱보다 개선함을 보인다.
• 다양한 아키텍처(ResNet, Wide ResNet, Transformer)와 데이터셋(CIFAR-10, ImageNet, WMT EN-DE)에서 방법을 시연한다.
• 실무자들을 위한 기존 희소화 기법과의 비교 및 실용적 가이드를 제공한다.

제안 방법

• 빠른 중요도 척도(예: 크기)로 가중치나 단위를 순위 매긴다.
• 대상 비율 γ와 드롭 속도 α를 정의하여 하위 γ|θ| 가중치를 드롭아웃으로 선택하고 확률 α로 드롭한다.
• 드롭아웃을 선택된 중요하지 않은 요소에 각 그래디언트 계산 단계에서 적용하여 프루닝에 대한 강건함을 유도한다.
• 상위-k 가중치(크기 순으로 상위)에 의해 중요한 서브네트워크가 중요하지 않은 서브네트워크에 덜 의존하도록 네트워크를 학습한다.
• 학습 후 Greedy 크기 기반 프루닝을 사용하여 L1/L0 규제, 변분 드롭아웃, Smallify와 비교한다.
• ResNet, Wide ResNet, Transformer 등의 아키텍처를 CIFAR-10, ImageNet, WMT EN-DE에서 평가한다.

실험 결과

연구 질문

• RQ1 타깃드롭아웃이 표준 드롭아웃 및 희소화 유도 규제에 비해 프루닝 후 네트워크의 강건성을 개선하는가?
• RQ2 타깃드롭아웃으로 다양한 아키텍처와 데이터셋에서 최소한의 성능 손실로 높은 희소성(예: 90–99%)을 달성할 수 있는가?
• RQ3 타깃드롭아웃 하에서 중요한 서브네트워크와 중요하지 않은 서브네트워크 간의 의존성은 어떻게 변하며, 이는 프루닝 결과에 어떻게 연결되는가?
• RQ4 실제 모델에서 L1, L0, 변분 드롭아웃, Smallify 등 기존 프루닝 접근법에 비해 타깃드롭아웃의 실용적 이점과 한계는 무엇인가?
• RQ5 다양한 아키텍처에 대해 타깃드롭아웃의 램핑(ramping) 혹은 고정 패턴 변형이 효과적인가?

주요 결과

• 타깃드롭아웃은 정확성을 유지하면서 강한 희소화를 달성한다: 예를 들어 ResNet-32에서 CIFAR-10 정확도가 4% 미만의 감소로 99%의 희소성 달성.
• 타깃드롭아웃으로 학습된 네트워크는 중요한 서브네트워크가 중요하지 않은 서브네트포츠에 덜 의존하게 되어 프루닝 시 ΔE가 더 작아진다.
• 표준 드롭아웃, L1 및 L0 규제에 비해 타깃드롭아웃은 여러 아키텍처(ResNet, Wide ResNet, Transformer) 및 데이터셋에서 더 나은 희소성-정확도 트레이드를 달성한다.
• Transformer 실험에서 타깃드롭아웃은 높은 희소성에서 BLEU 점수를 향상시킨다(예: EN-DE에서 70% 희소성으로 +15 BLEU까지).
• 타깃드롭아웃의 램핑 변형은 매우 높은 희소성(약 99%)에 도달하면서도 경쟁력 있는 정확도를 유지할 수 있으며, 때로는 Smallify와 같은 대안적 희소 학습 방법을 능가한다.