[논문 리뷰] The Lottery Ticket Hypothesis for Self-attention in Convolutional Neural Network

Zhongzhan Huang, Senwei Liang외 4명|arXiv (Cornell University)|2022. 07. 16.

Advanced Neural Network Applications인용 수 8

한 줄 요약

이 논문은 자기주의성 주의(Self-attention)를 위한 로또 티켓 가설(Lottery Ticket Hypothesis, LTH4SA)을 제안하며, 컨volution 네트워크(CNN)의 일부 블록만 자기주의성 주의 모듈에 연결되는 희박한(self-attention) 연결 구조가 전체 자기주의성 주의 네트워크와 동일하거나 이를 초월하는 정확도를 달성하면서 파라미터 수와 추론 시간을 줄일 수 있음을 입증한다. 이 방법은 최적의 희박한 연결 패턴을 탐색하기 위해 강화학습 기반의 탐색 기법을 사용하며, CIFAR-100과 ImageNet에서 검증되어 최신 기술 수준의 성능을 보였다.

ABSTRACT

Recently many plug-and-play self-attention modules (SAMs) are proposed to enhance the model generalization by exploiting the internal information of deep convolutional neural networks (CNNs). In general, previous works ignore where to plug in the SAMs since they connect the SAMs individually with each block of the entire CNN backbone for granted, leading to incremental computational cost and the number of parameters with the growth of network depth. However, we empirically find and verify some counterintuitive phenomena that: (a) Connecting the SAMs to all the blocks may not always bring the largest performance boost, and connecting to partial blocks would be even better; (b) Adding the SAMs to a CNN may not always bring a performance boost, and instead it may even harm the performance of the original CNN backbone. Therefore, we articulate and demonstrate the Lottery Ticket Hypothesis for Self-attention Networks: a full self-attention network contains a subnetwork with sparse self-attention connections that can (1) accelerate inference, (2) reduce extra parameter increment, and (3) maintain accuracy. In addition to the empirical evidence, this hypothesis is also supported by our theoretical evidence. Furthermore, we propose a simple yet effective reinforcement-learning-based method to search the ticket, i.e., the connection scheme that satisfies the three above-mentioned conditions. Extensive experiments on widely-used benchmark datasets and popular self-attention networks show the effectiveness of our method. Besides, our experiments illustrate that our searched ticket has the capacity of transferring to some vision tasks, e.g., crowd counting and segmentation.

연구 동기 및 목표

• 희박한 자기주의성 주의 연결이 전체 자기주의성 주의 네트워크보다 정확도를 높이거나 동일하게 유지하면서도 계산 비용을 줄일 수 있는지 조사한다.
• 자기주의성 주의 모듈과 CNN 블록 간의 연결 체계를 특정하여, 더 적은 파라미터 수와 더 빠른 추론으로도 모델 정확도를 유지할 수 있는지를 규명한다.
• 최적의 희박한 연결 체계를 효율적으로 탐색하기 위한 강화학습 기반 방법을 개발한다.
• 발견된 연결 체계가 원래 학습 분포를 초월한 다양한 비전 작업, 예를 들어 인파 세기 측정과 세그멘테이션 등으로 일반화 가능한지를 검증한다.

제안 방법

• 자기주의성 주의를 위한 로또 티켓 가설(LTH4SA)을 제안하며, 전체 자기주의성 주의 네트워크 내부에 정확도는 유지하면서 파라미터 수와 추론 시간을 줄일 수 있는 희박한 연결을 가진 하위 네트워크가 존재한다고 주장한다.
• 연결 체계를 각 블록이 자기주의성 주의 모듈에 연결되는지 여부를 나타내는 이진 벡터로 모델링하며, '티켓'을 세 가지 기준을 충족하는 체계로 정의한다: 더 빠른 추론, 감소한 파라미터 수, 유지된 정확도.
• 정책 그래디언트 방법을 사용한 강화학습 컨트롤러를 설계하여 최적의 연결 체계를 탐색하며, 희박성, 검증 정확도, 그리고 Random Network Distillation(RND)을 통한 탐색 유도적 탐색을 통합한 복합 보상 함수를 사용한다.
• 샘플링된 연결 체계를 재사용하여 컨트롤러의 학습 효율성을 향상시키기 위해 Proximal Policy Optimization(PPO)를 통합한다.
• 서브넷 성능을 추정하기 위해 슈퍼넷을 활용하며, 슈퍼넷과 독립된 검증 정확도 간의 피어슨 상관계수(0.71)를 통해 보상 신뢰성에 대한 근거를 제시한다.
• 하이브리드 보상 함수를 사용한다: $ G(\mathbf{a}) = \lambda_1 \cdot g_{\text{spa}} + \lambda_2 \cdot g_{\text{val}} + \lambda_3 \cdot g_{\text{rnd}} $, 여기서 $ g_{\text{spa}} $ 는 희박성을 촉진하고, $ g_{\text{val}} $ 은 높은 검증 정확도에 보상을 주며, $ g_{\text{rnd}} $ 는 새로운 연결 체계 탐색을 장려한다.

실험 결과

연구 질문

• RQ1 희박한 자기주의성 주의 연결 체계가 파라미터 수와 추론 시간을 줄이며 정확도 측면에서 전체 자기주의성 주의 네트워크를 초월하거나 동일하게 유지할 수 있는가?
• RQ2 전체 자기주의성 주의 네트워크 내부에 정확도는 유지하면서도 연결 수가 크게 줄어든 하위 네트워크가 존재하는가? 이는 '로또 티켓'의 존재를 뒷받침하는가?
• RQ3 제안된 강화학습 기반 탐색 방법이 다양한 데이터셋과 기초 아키텍처에서 최적의 희박한 연결 체계를 효과적으로 탐색하는가?
• RQ4 발견된 연결 체계는 원래 학습 분포를 초월한 후행 비전 작업으로 일반화 가능한가?

주요 결과

• 실험 결과에 따르면 일부 희박한 자기주의성 주의 연결 체계가 전체 자기주의성 주의 네트워크보다 더 높은 정확도를 달성함으로써, 더 많은 연결이 항상 성능 향상에 기여한다는 가정을 반박한다.
• 제안된 강화학습 방법은 CIFAR-100과 ImageNet에서 파라미터 증가량을 줄이고 추론 속도를 높이며 정확도를 유지하거나 향상시키는 연결 체계를 성공적으로 탐색하였다.
• CIFAR-100에서 슈퍼넷 추정 정확도와 독립된 검증 정확도 간 상관계수는 0.71로, 탐색 과정에서 슈퍼넷 기반 보상 신호의 신뢰성을 뒷받침한다.
• RND 탐색 유도 보상의 통합으로 탐색의 다양성이 향상되었으며, 컨트롤러 학습의 조기 수렴 문제를 완화시켰다.
• 발견된 티켓은 인파 세기 측정 및 세그멘테이션을 포함한 다른 비전 작업으로도 일반화 가능하며, 이는 이식성(transferability)을 입증한다.
• ResNet50 기반 ImageNet2012에서, 이 방법은 전체 자기주의성 주의 네트워크보다 유의미하게 감소된 계산 및 파라미터 오버헤드로 경쟁 가능한 정확도를 달성하였다.