[논문 리뷰] Efficient Lottery Ticket Finding: Less Data is More

Zhenyu Zhang, Xuxi Chen외 2명|arXiv (Cornell University)|2021. 06. 06.

Video Analysis and Summarization인용 수 7

한 줄 요약

이 논문은 로또 티켓 발견을 위한 가장 도전적이고 정보가 풍부한 샘플을 포괄하는 소형이며 데이터 효율적인 하위집합인 Pruning-Aware Critical(PrAC) 세트를 제안한다. 전체 데이터셋 대신 PrAC 세트에서 밀도 높은 네트워크를 훈련 및 프루닝함으로써, 이 방법은 경쟁력 있는 정확도를 유지하면서 최대 92.77% 적은 훈련 반복 횟수를 달성하여, 승리 티켓을 찾는 데 있어 효율성을 크게 향상시킨다.

ABSTRACT

The lottery ticket hypothesis (LTH) reveals the existence of winning tickets (sparse but critical subnetworks) for dense networks, that can be trained in isolation from random initialization to match the latter's accuracies. However, finding winning tickets requires burdensome computations in the train-prune-retrain process, especially on large-scale datasets (e.g., ImageNet), restricting their practical benefits. This paper explores a new perspective on finding lottery tickets more efficiently, by doing so only with a specially selected subset of data, called Pruning-Aware Critical set (PrAC set), rather than using the full training set. The concept of PrAC set was inspired by the recent observation, that deep networks have samples that are either hard to memorize during training, or easy to forget during pruning. A PrAC set is thus hypothesized to capture those most challenging and informative examples for the dense model. We observe that a high-quality winning ticket can be found with training and pruning the dense network on the very compact PrAC set, which can substantially save training iterations for the ticket finding process. Extensive experiments validate our proposal across diverse datasets and network architectures. Specifically, on CIFAR-10, CIFAR-100, and Tiny ImageNet, we locate effective PrAC sets at 35.32%~78.19% of their training set sizes. On top of them, we can obtain the same competitive winning tickets for the corresponding dense networks, yet saving up to 82.85%~92.77%, 63.54%~74.92%, and 76.14%~86.56% training iterations, respectively. Crucially, we show that a PrAC set found is reusable across different network architectures, which can amortize the extra cost of finding PrAC sets, yielding a practical regime for efficient lottery ticket finding.

연구 동기 및 목표

• 대규모 데이터셋에서 반복적 크기 프루닝(IMP)을 통한 로또 티켓 발견의 높은 계산 비용을 해결하기 위해.
• 데이터 희소성(핵심 하위집합 선택)과 모델 희소성(승리 티켓 발견)을 함께 설계하여 효율성을 향상시킬 수 있는지 조사하기 위해.
• 희소 서브넷워크를 위한 일반화 능력과 훈련 가능성을 유지하는 최소한이지만 핵심적인 훈련 데이터 하위집합을 식별하기 위해.
• 다양한 아키텍처와 데이터셋에서 고품질의 로또 티켓 식별을 효율적으로 가능하게 하는 재사용 가능한 작고 컴act한 데이터 하위집합을 개발하기 위해.

제안 방법

• 훈련 중에 기억하기 가장 어려운 샘플과 프루닝 중에 가장 쉽게 잊히는 샘플을 포괄하는 Pruning-Aware Critical(PrAC) 세트를 정의한다.
• 활성화 통계를 사용하여 초기 훈련 중 모델의 기억 능력을 측정함으로써 핵심 훈련 예제(CET)를 식별한다.
• 기울기 기반 중요도 점수를 사용하여 반복적 크기 프루닝 중 특징 민감도를 측정함으로써 핵심 프루닝 예제(CEP)를 식별한다.
• CET과 CEP의 합집합으로서 PrAC 세트를 구성함으로써, 훈련 및 프루닝 단계에서 모두 핵심적인 샘플을 포함하도록 보장한다.
• 성능 손실 없이도 반복 횟수를 줄이기 위해 PrAC 세트에서 훈련 시 조기 정지 기법을 적용한다.
• 다양한 네트워크 아키텍처에서 동일한 PrAC 세트를 재사용하여 하위집합 식별 비용을 분산하고 실용성을 향상시킨다.

실험 결과

연구 질문

• RQ1 로또 티켓 프레임워크에서 훈련 가능한 희소 서브넷워크(즉, 승리 티켓)를 발견하기 위해 가장 핵심적인 훈련 샘플은 무엇인가요?
• RQ2 훈련 가능성과 일반화 능력이 승리 티켓 발견에 필요로 하는 조건을 유지하는 작고 데이터 효율적인 하위집합을 구성할 수 있는가요?
• RQ3 데이터 희소성(핵심 하위집합 선택)과 모델 희소성(프루닝)을 함께 설계하면 로또 티켓 발견의 효율성이 어떻게 향상되는가요?
• RQ4 다른 아키텍처로의 이식성에 있어 성능 저하 없이 PrAC 세트를 재사용할 수 있는가요? 이는 확장 가능하고 실용적인 배포를 가능하게 하는가요?
• RQ5 조기 정지와 하위집합 기반 훈련을 통해 얼마나 많은 훈련 반복 횟수를 줄일 수 있으며, 경쟁력 있는 정확도를 유지할 수 있는가요?

주요 결과

• CIFAR-10, CIFAR-100 및 Tiny ImageNet에서 PrAC 세트는 전체 훈련 세트의 35.32%에서 78.19% 정도의 크기이지만, 고품질의 승리 티켓을 발견하는 데 성공한다.
• 전체 데이터 훈련 대비 PrAC 방법은 Tiny ImageNet에서 최대 92.77%의 훈련 반복 횟수 감소, CIFAR-10에서는 82.85%, CIFAR-100에서는 74.92%의 감소를 기록한다.
• PrAC 로또 티켓은 일반적인 로또 티켓과 비교해 유사하거나 더 뛰어난 성능을 보이며, 특히 높은 희소성에서 유의미한 우월성을 보인다(예: CIFAR-10에서 96.48% 희소성에서 일반 티켓을 능가함).
• ResNet-20 및 ResNet-56와 같은 다양한 아키텍처에서 동일한 PrAC 세트를 재사용할 수 있어 비용 분산과 실용적 배포가 가능하다.
• 조기 정지 기법을 적용한 경우, PrAC 기반의 티켓 발견은 최대 83.93%의 훈련 자원 절감을 이끌어내며, 정확도 손실은 최대 0.50% 이내로 유지된다.
• PrAC 세트는 더러운 배경과 다수의 객체를 포함한 모호하고 복잡한 이미지가 더 많아, 학습하기 어려운 고정보량 샘플을 포괄하고 있음을 시사한다.