[논문 리뷰] Sparse Transfer Learning via Winning Lottery Tickets

Rahul Mehta|arXiv (Cornell University)|2019. 05. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 25인용 수 20

한 줄 요약

이 논문은 CIFAR-10에서 훈련된 소스 네트워크에서 추출한 희박한 하위망구조(승리 티켓)를 이용해 전이 학습으로 라이팅 티켓 가설을 확장한다. 이 희박한 하위망구조는 SmallNORB 및 FashionMNIST와 같은 타겟 작업에서 미세조정을 거쳐 원래의 밀도 네트워크보다 높거나 동일한 정확도를 달성한다. 반복적 희박화를 통해 승리 티켓은 최소 5.5%의 파라미터만 유지하면서도, 미세조정 후 전체 네트워크 성능을 유지하거나 초월한다.

ABSTRACT

The recently proposed Lottery Ticket Hypothesis of Frankle and Carbin (2019) suggests that the performance of over-parameterized deep networks is due to the random initialization seeding the network with a small fraction of favorable weights. These weights retain their dominant status throughout training -- in a very real sense, this sub-network "won the lottery" during initialization. The authors find sub-networks via unstructured magnitude pruning with 85-95% of parameters removed that train to the same accuracy as the original network at a similar speed, which they call winning tickets. In this paper, we extend the Lottery Ticket Hypothesis to a variety of transfer learning tasks. We show that sparse sub-networks with approximately 90-95% of weights removed achieve (and often exceed) the accuracy of the original dense network in several realistic settings. We experimentally validate this by transferring the sparse representation found via pruning on CIFAR-10 to SmallNORB and FashionMNIST for object recognition tasks.

연구 동기 및 목표

• 구조적 아님에 기반한 크기 기반 희박화를 통해 소스 작업에서 식별된 희박한 하위망구조(승리 티켓)가 다른 타겟 작업으로 효과적으로 전이될 수 있는지 조사하기 위해.
• 원래의 라이팅 티켓 가설과 전이 학습 환경 간의 모순을 해결하기 위해 전이 가능한 티켓 가설을 수식화하기 위해.
• 다양한 아키텍처와 데이터셋에서 전이 가능한 승리 티켓을 식별하는 데 있어 일회성 희박화와 반복적 희박화의 성능을 평가하기 위해.
• 희박한 하위망구조에서 전체 네트워크를 미세조정하는 것과 비교해, 완전히 연결된 레이어만 미세조정하는 것이 더 나은 전이 성능을 내는지 확인하기 위해.

제안 방법

• CIFAR-10에서 훈련된 사전 훈련된 ResNet18 및 VGG19 모델을 대상으로 반복적 비구조적 크기 기반 희박화를 통해 승리 티켓을 식별한다.
• 크기 기반 마스크 $m$이 정의한 희박한 하위망구조를 추출하여 $m_{i} = 1$ 인 곳에만 가중치를 유지한다.
• 희박한 하위망구조를 소스 네트워크에서 희박화된 가중치($m \odot \theta_S$)로 초기화하여 타겟 데이터셋(SmallNORB, FashionMNIST)에서 미세조정한다. 이때 합성곱 레이어를 동 冻결하거나 미세조정한다.
• 희박화 후 원래 초기화($m \odot \theta_0$)로 재설정된 하위망구조와 비교하여, 희박화된 소스 가중치($m \odot \theta_S$)로 초기화된 하위망구조의 성능을 평가한다.
• 반복적 희박화(반복적인 희박화 및 재훈련)와 일회성 희박화(단일 희박화 단계)를 사용하여, 강건성과 희박성-정확도 트레이드오프를 평가한다.
• 전이 학습 환경에 맞게 수정된 원래 LTH의 변형으로서, 전이 가능한 티켓 가설을 수식화한다.

실험 결과

연구 질문

• RQ1 CIFAR-10에서 비구조적 크기 기반 희박화를 통해 식별된 승리 티켓이 SmallNORB 및 FashionMNIST와 같은 다른 타겟 작업으로 성공적으로 전이될 수 있는가? 이때 정확도는 동일하거나 더 높은가?
• RQ2 전이된 승리 티켓의 성능은 전체 네트워크를 미세조정하는 것과 비교해, 완전히 연결된 레이어만 미세조정하는 것에 따라 달라지는가?
• RQ3 반복적 희박화와 일회성 희박화는 어느 것이 더 높은 희박성과 정확도를 갖는 전이 가능한 승리 티켓을 식별하는 데 더 효과적인가?
• RQ4 VGG19와 같은 더 큰 아키텍처에서 유도된 승리 티켓은 하류 작업으로 효과적으로 전이되는가, 아니면 작업에 특화된가?
• RQ5 원래의 라이팅 티켓 초기화($m \odot \theta_0$)는 전이 후에도 여전히 효과적인가, 아니면 소스 훈련된 가중치 초기화($m \odot \theta_S$)가 더 뛰어난 성능을 내는가?

주요 결과

• SmallNORB로의 전이에서 반복적 희박화를 통해 최소 5.5%의 파라미터만 유지하는 승리 티켓을 발견하였고, 이는 테스트 정확도 90.2%를 달성하였다.
• 전체 네트워크를 미세조정할 경우, FashionMNIST에서 ResNet18에 대한 최고의 승리 티켓은 파라미터의 6.9%만 유지하면서도 테스트 정확도 91.7%를 달성하였다.
• 희박화된 소스 가중치($m \odot \theta_S$)로 초기화된 하위망구조는 하류 작업에서 원래 초기화($m \odot \theta_0$)로 재설정된 하위망구조보다 항상 뛰어난 성능을 보였다.
• 반복적 희박화는 일회성 희박화보다 훨씬 더 희박하고 정확도가 높은 승리 티켓을 생성하였으며, 후자는 SmallNORB에서 어느 수준의 희박성에서도 승리 티켓을 발견하지 못하였다.
• VGG19에서 유도된 승리 티켓은 전체 네트워크를 미세조정할 경우 어느 희박성 수준에서도 적절한 정확도를 달성하지 못하여 효과적인 전이가 되지 못하였다.
• 재초기화된 승리 티켓($m \odot \theta_0$)의 성능은 심각하게 떨어졌으며, 이는 소스 작업에서 훈련된 가중치가 전이 가능성에 필수적임을 시사한다.