[논문 리뷰] A Survey of Lottery Ticket Hypothesis

Bohan Liu, Zijie Zhang외 7명|arXiv (Cornell University)|2024. 03. 07.

Gambling Behavior and Treatments인용 수 5

한 줄 요약

이 논문은 Lottery Ticket Hypothesis (LTH)를 조사하여 이론, 특수 모델, 알고리즘, 실험, 효율성, 다른 주제와의 관계 및 응용을 요약하고, 미해결 이슈와 향후 방향에 대해 논의한다.

ABSTRACT

The Lottery Ticket Hypothesis (LTH) states that a dense neural network model contains a highly sparse subnetwork (i.e., winning tickets) that can achieve even better performance than the original model when trained in isolation. While LTH has been proved both empirically and theoretically in many works, there still are some open issues, such as efficiency and scalability, to be addressed. Also, the lack of open-source frameworks and consensual experimental setting poses a challenge to future research on LTH. We, for the first time, examine previous research and studies on LTH from different perspectives. We also discuss issues in existing works and list potential directions for further exploration. This survey aims to provide an in-depth look at the state of LTH and develop a duly maintained platform to conduct experiments and compare with the most updated baselines.

연구 동기 및 목표

• Lottery Ticket Hypothesis와 그것의 이론적 기초를 설명한다.
• 다양한 모델 유형과 작업에 걸친 LTH 연구를 분류하고 합성한다.
• LTH에서의 실용적 도전과 효율성 문제, 확장성 이슈를 식별한다.
• 승리 티켓을 발견하기 위한 알고리즘과 초기화/가지치기 전략을 검토한다.
• LTH 연구의 재현성 및 비교를 발전시키기 위한 방향과 벤치마크를 제안한다.

제안 방법

• pretraining, pruning, reinitialization를 포함한 LTH의 형식적 표기 프레임워크를 제공한다.
• 반복적 크기 기반 가지치기와 원샷 가지치기 접근법을 요약 및 비교한다.
• 승리 티켓의 존재와 강한 로터리 티켓의 존재를 증명하는 이론적 결과를 조사한다.
• GNNs, Transformers, 생성 모델 등 특수 모델에서의 LTH 변형을 분류한다.
• 가지치의 정도, 층별 대 전역 가지치기, 제로, 부호, 슈퍼 마스크와 같은 주요 요인에 대한 실험적 통찰을 검토한다.
• LTH 문헌의 분류 체계를 제시하고 공개 코드베이스와 벤치마크를 요약한다.

실험 결과

연구 질문

• RQ1 아키텍처와 작업 전반에 걸쳐 승리 티켓의 존재에 대한 현황 증거는 무엇인가?
• RQ2 초기화, 가지치기 전략, 재학습이 실제로 로터리 티켓의 성공에 어떻게 영향을 미치는가?
• RQ3 LTH를 특수 모델(GNNs, Transformers, GANs/VAEs) 및 새로운 도메인으로 어떻게 확장할 수 있는가?
• RQ4 승리 티켓 발견 및 이용에서의 주요 효율성 및 확장성 병목은 무엇이며 이를 어떻게 완화할 수 있는가?

주요 결과

• 승리 티켓은 조밀한 네트워크에서도 존재할 수 있으며, 초기화에서 재학습할 때 원래 모델과 비견되거나 더 나은 성능을 보일 수 있다.
• 특정 형식에서 서브네트워크가 학습 없이도 잘 작동하는 강한 로터리 티켓이 존재할 수 있다.
• 특수 모델(GNNs, Transformers, 생성 모델)은 맞춤형 LTH 형식이 필요하며 전달 가능성 및 효율성 이득이 다르게 나타난다.
• 가중치 리와인딩 및 학습률 리와인딩을 포함한 다양한 초기화 및 가지치기 전략이 티켓 품질에 크게 영향을 미친다.
• 표준화된 실험 설정, 재현성 벤치마크, 공정한 비교를 위한 오픈 소스 플랫폼의 필요성이 인식되고 있다.
• 가지치 효율성과 하드웨어 인식 구조적 가지치기는 이론과 실제 배치 간의 다리를 놓는 활발한 연구 분야로 남아 있다.