[논문 리뷰] One ticket to win them all: generalizing lottery ticket initializations across datasets and optimizers

Ari S. Morcos, Haonan Yu외 2명|arXiv (Cornell University)|2019. 06. 06.

Generative Adversarial Networks and Image Synthesis참고 문헌 33인용 수 107

한 줄 요약

이 논문은 한 데이터셋이나 최적화기로 발견된 당첨 티켓 초기화가 자연 이미지 작업에서 다른 데이터셋과 최적화기로도 종종 전달되는 것을 보여주며, 특히 더 큰 데이터셋에서 얻어진 경우에 그렇다.

ABSTRACT

The success of lottery ticket initializations (Frankle and Carbin, 2019) suggests that small, sparsified networks can be trained so long as the network is initialized appropriately. Unfortunately, finding these "winning ticket" initializations is computationally expensive. One potential solution is to reuse the same winning tickets across a variety of datasets and optimizers. However, the generality of winning ticket initializations remains unclear. Here, we attempt to answer this question by generating winning tickets for one training configuration (optimizer and dataset) and evaluating their performance on another configuration. Perhaps surprisingly, we found that, within the natural images domain, winning ticket initializations generalized across a variety of datasets, including Fashion MNIST, SVHN, CIFAR-10/100, ImageNet, and Places365, often achieving performance close to that of winning tickets generated on the same dataset. Moreover, winning tickets generated using larger datasets consistently transferred better than those generated using smaller datasets. We also found that winning ticket initializations generalize across optimizers with high performance. These results suggest that winning ticket initializations generated by sufficiently large datasets contain inductive biases generic to neural networks more broadly which improve training across many settings and provide hope for the development of better initialization methods.

연구 동기 및 목표

• 자연 이미지 도메인 내에서 데이터셋 간 당첨 티켓 초기화가 일반화되는지 조사한다.
• 당첨 티켓의 교차 최적화기 전이 가능성을 평가한다.
• 데이터셋 크기와 클래스 수가 작업 간 당첨 티켓의 일반화에 어떤 영향을 미치는지 검토한다.

제안 방법

• 각 반복에서 20% 가지치기 비율과 나중에 초기 값으로 재설정을 사용한 반복적 가지치기.
• 글로벌 가지치기와 로컬 가지치기를 비교하고 글로벌 가지치기가 우수하다는 것을 확인한다.
• 원천 데이터셋/최적화기로 생성된 당첨 티켓을 대상 데이터셋/최적화기로 전이하고 성능을 평가한다.
• 출력 클래스가 다르므로 전이에 최종 분류층을 제외하고 무작위로 재초기화한다.

실험 결과

연구 질문

• RQ1 자연 이미지 분류 작업에서 데이터셋 간 당첨 티켓이 전달되는가?
• RQ2 당첨 티켓이 최적화기 간에 전이되는가(SGD 모멘텀 대 Adam)?
• RQ3 원천 데이터의 데이터셋 크기와 클래스 수가 전이 효과에 영향을 미치는가?

주요 결과

• 데이터셋 간 전달된 당첨 티켓은 대상 데이터셋 여러 가지에서 데이터셋 특이적 당첨 티켓과 거의 같은 성능을 보이는 경우가 많다.
• 더 큰 데이터셋으로 생성된 당첨 티켓이 작은 데이터셋으로 생성된 것보다 일반화가 잘된다.
• 전이된 티켓은 최적화기에 의존하지 않는 귀납적 편향을 시사하며, 최적화기 간 일반화 가능하다.
• 글로벌 크기 가지치기가 레이어별 가지치기보다 우수하며, 초기 레이어를 보존하면서 더 깊은 레이어를 더 공격적으로 가지치는 경향이 있다.
• 전이된 티켓은 매개변수 수가 많은 네트워크에서 과적합을 완화할 수 있으며, 특히 매우 작은 데이터셋에서 그렇다.