[논문 리뷰] Sanity Checks for Lottery Tickets: Does Your Winning Ticket Really Win the Jackpot?

Xiaolong Ma, Geng Yuan외 9명|arXiv (Cornell University)|2021. 06. 30.

Gambling Behavior and Treatments인용 수 15

한 줄 요약

이 논문은 학습 레시피의 품질(학습률, 학습 에포크 수, 아키텍처 요소 포함)을 고려한 더 엄격한 '승자 티켓' 정의를 제안함으로써 라피지티켓 가설을 재평가한다. 심층 신경망 아키텍처 전반에 걸친 광범위한 실험을 통해 승자 티켓은 하이퍼파라미터와 잔류 연결에 매우 민감하며, 이를 바탕으로 실용적인 지침을 제공한다. 이는 기존 방법이 엄격한 기준에서는 자주 실패하지만, 약간의 완화 조건에서는 성공한다는 것을 드러낸다.

ABSTRACT

There have been long-standing controversies and inconsistencies over the experiment setup and criteria for identifying the "winning ticket" in literature. To reconcile such, we revisit the definition of lottery ticket hypothesis, with comprehensive and more rigorous conditions. Under our new definition, we show concrete evidence to clarify whether the winning ticket exists across the major DNN architectures and/or applications. Through extensive experiments, we perform quantitative analysis on the correlations between winning tickets and various experimental factors, and empirically study the patterns of our observations. We find that the key training hyperparameters, such as learning rate and training epochs, as well as the architecture characteristics such as capacities and residual connections, are all highly correlated with whether and when the winning tickets can be identified. Based on our analysis, we summarize a guideline for parameter settings in regards of specific architecture characteristics, which we hope to catalyze the research progress on the topic of lottery ticket hypothesis. Our codes are publicly available at: https://github.com/boone891214/sanity-check-LTH.

연구 동기 및 목표

• 기존 LTH 연구에서의 일관성 없는 실험 설정과 '승자 티켓' 식별 기준의 모호성으로 인해 발생한 장기적인 논란을 해결하기 위해.
• 학습 레시피 품질, 아키텍처, 희박성 기반으로 진정한 '잭팟' 승자 티켓을 식별하기 위한 더 엄격한 기준을 정의하기 위해.
• 학습률, 학습 에포크 수, 잔류 연결, 네트워크 용량과 같은 핵심 요소가 승자 티켓 발생에 미치는 영향을 실증적으로 조사하기 위해.
• 다양한 DNN 아키텍처와 데이터셋에서 연구자들이 승자 티켓을 안정적으로 식별할 수 있도록 데이터 기반 실용적 지침을 개발하기 위해.
• 엄격한 조건 하에서 승자 티켓이 진정으로 존재하는지 확인하고, IMP 및 OMP와 같은 기존 방법의 타당성을 평가하기 위해.

제안 방법

• 학습 레시피 파rameter(학습률, 에포크 수)와 성능 비교 기준을 명시적으로 포함한 더 엄격한 라피지티켓 가설 정의를 제안한다.
• 다양한 하이퍼파라미터와 희박성 수준에서 여러 DNN 아키텍처(예: ResNet-20, VGG-19)와 데이터셋(예: CIFAR-10)을 대상으로 광범위한 추상화 실험을 수행한다.
• 반복적 크기 제거(IMP)와 일회성 크기 제거(OMP)를 모두 활용하여, 다양한 초기화 및 학습 조건 하에서 하위망 성능을 평가한다.
• 학습률, 잔류 연결, 네트워크 깊이와 같은 요소와 승자 티켓 성공 간의 상관관계를 정량적으로 분석한다.
• 다른 학습률로 사전학습을 수행하고, 다양한 학습률로 하위망을 미세조정하여 안정성과 성능 향상을 평가한다.
• 실증적 패턴을 기반으로 체계적인 지침을 개발하여, 다양한 네트워크 특성에 최적화된 하이퍼파라미터를 권장한다.

실험 결과

연구 질문

• RQ1 기존 LTH 연구의 이질성 문제를 해결하기 위해 어떤 기준이 '승자 티켓'을 엄격하게 정의할 수 있는가?
• RQ2 이 엄격한 정의 하에서 주요 DNN 아키텍처 전반에 걸쳐 진정으로 승자 티켓이 존재하는가?
• RQ3 학습률과 학습 에포크 수를 포함한 핵심 학습 하이퍼파라미터가 승자 티켓 식별에 어떤 영향을 미치는가?
• RQ4 잔류 연결과 네트워크 용량과 같은 아키텍처 구성 요소가 승자 티켓의 발생에 어떤 역할을 하는가?
• RQ5 OMP가 IMP에 비해 충분한 조건은 언제이며, 라피지티켓 초기화가 언제 필수적인가?

주요 결과

• 제안된 엄격한 정의 하에서 현재 방법을 사용해 진정된 '진짜' 승자 티켓을 발견하지 못했으며, 이는 이전 주장이 최적화되지 않은 학습 레시피에 기반했을 수 있음을 시사한다.
• 잔류 연결이 존재할 경우, 작은 학습률(예: 0.01)을 사용하면 (가장 가까운) 승자 티켓을 식별할 가능성이 크게 높아진다.
• 잔류 연결이 없는 네트워크에서는 OMP가 IMP와 유사한 성능을 달성하므로, 이러한 경우 IMP가 반드시 필요하지 않다는 것을 시사한다.
• 높은 학습률(예: 0.1)일 경우, 라피지티켓 초기화 하위망의 성능이 떨어지고 더 이상 무작위 재초기화보다 우수하지 않게 되어 원래 LTH 주장과 모순된다.
• 더 높은 학습률(0.1, 92.4% 정확도 달성)로 사전학습을 수행하면, 0.01로 사전학습한 경우보다 OMP를 통해 87.4% 정확도를 달성하는 하위망 성능이 더 우수하여, 사전학습 시 학습률 선택이 매우 중요하다는 것을 시사한다.
• 하위망 학습 시 학습률 선택 역시 성능에 영향을 미친다: 예를 들어, ResNet-20에서 91.4% 희박성 조건에서 하위망 학습에 0.005를 사용하면 IMP 정확도 89.7%를 달성하여 0.01(89.4%)보다 뛰어나다.