[논문 리뷰] A Generalized Lottery Ticket Hypothesis

Ibrahim Alabdulmohsin, Larisa Markeeva외 2명|arXiv (Cornell University)|2021. 07. 03.

Face and Expression Recognition참고 문헌 14인용 수 4

한 줄 요약

이 논문은 구조적 희소성으로부터 비구조적 희소성까지 확장된 일반화된 로또 티켓 가설(GLTH)을 제안한다. 일반화된 희소성은 DCT나 항등 기저와 같은 맞춤형 사전을 통해 정의되며, 이는 입력 픽셀 제거나 저랭크 분해와 같은 구조적 프루닝 기법을 통해 모델 정확도를 유지하면서도 높은 압축률을 달성할 수 있음을 보여준다. 특히 DCT 기반 프루닝을 사용할 경우 CIFAR10에서 파라미터의 약 98%를 제거할 수 있었다.

ABSTRACT

We introduce a generalization to the lottery ticket hypothesis in which the notion of "sparsity" is relaxed by choosing an arbitrary basis in the space of parameters. We present evidence that the original results reported for the canonical basis continue to hold in this broader setting. We describe how structured pruning methods, including pruning units or factorizing fully-connected layers into products of low-rank matrices, can be cast as particular instances of this "generalized" lottery ticket hypothesis. The investigations reported here are preliminary and are provided to encourage further research along this direction.

연구 동기 및 목표

• 모수 공간 내에서 비구조적 희소성에서 벗어나 임의의 정규직교 기저로 로또 티켓 가설을 확장하는 것.
• 로또 티켓 유사한 승리 티켓이 기존 기저 외에도 DCT나 항등 기반 사전과 같은 다른 기저에서도 존재하는지 조사하는 것.
• 유닛 프루닝이나 저랭크 분해와 같은 구조적 프루닝 방법들이 이 일반화된 프레임워크 아래에서 통합될 수 있음을 보여주는 것.
• 반복적 크기 프루닝(IMP)이 비표준 기저에서 작동하도록 조정되어 정확도 저하를 최소화하면서도 고압축을 달성할 수 있음을 보여주는 것.
• 효율적인 모델 압축을 위한 기저에 종속되지 않는 로또 티켓 현상에 대한 향후 연구를 장려하는 것.

제안 방법

• 모수 공간 내에서 $d$차원에서 정규직교 기저 $\mathcal{D} = \{v_1, \dots, v_d\}$를 정의하고, 가중치 벡터의 $\mathcal{D}$-표현에서 비영인 계수의 수로 희소성을 재정의한다.
• 일반화된 로또 티켓 가설(GLTH)을 수립한다: 임의의 기저 $\mathcal{D}$에 대해 $|\mathcal{D}'| \ll d$인 작은 부분집합 $\mathcal{D}' \subset \mathcal{D}$가 존재하여 $\text{Span}(\mathcal{D}')$에서의 학습이 일반 학습과 유사한 테스트 정확도를 달성할 수 있다.
• 반복적 크기 프루닝(IMP) 알고리즘을 일반화된 기저에서 작동하도록 변형한다: 각 단계에서 나머지 부분공간에 대한 투영과 현재 가중치 벡터 간 유클리드 거리가 가장 작은 기저 벡터를 제거한다.
• 특정 기저를 사용하여 구조적 프루닝을 적용한다: 항등 행렬을 사용해 입력 단위(예: 픽셀)를 제거하고, DCT 기저를 사용해 완전히 연결된 레이어의 저랭크 분해를 가능하게 한다.
• 저랭크 분해를 위해 가중치 행렬 $\mathbf{W} \in \mathbb{R}^{d_{\text{in}} \times d_{\text{out}}}$를 $\mathbf{W} = \mathbf{U}'\mathbf{C}'$로 표현한다. 여기서 $\mathbf{U}'$는 정규직교 행렬 $\mathbf{U}$의 프루닝된 열 부분집합이며, $\mathbf{C}'$는 학습된 계수이다.
• 같은 IMP 절차를 사용해 $\mathbf{U}$의 열을 반복적으로 제거함으로써 저랭크 구조를 유지하고 효율적인 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 모수 공간 내에서 영인자로 희소성을 정의하는 대신 다른 정규직교 기저를 사용할 경우 로또 티켓 현상이 유지되는가?
• RQ2 입력 픽셀을 제거하거나 레이어를 저랭크 행렬로 분해하는 등의 구조적 프루닝 방법들이 하나의 이론적 프레임워크 아래 통합될 수 있는가?
• RQ3 DCT 기저와 같은 비표준 기저에서 반복적 크기 프루닝(IMP)이 여전히 효과적인가?
• RQ4 기저에 특화된 희소성 기반으로 고압축률(예: 95% 이상)을 달성하면서 정확도 저하를 최소화할 수 있는가?
• RQ5 특히 저랭크 분해나 입력 프루닝을 가능하게 할 때, 기저에 특화된 프루닝의 계산 및 메모리 효율성은 어떠한가?

주요 결과

• 일반화된 로또 티켓 가설은 경험적으로도 성립한다: 승리 티켓은 표준 기저 외에도 DCT나 항등 행렬과 같은 다른 정규직교 기저에서도 존재한다.
• DCT 기반 프루닝을 사용할 경우 첫 번째 완전히 연결된 레이어에서 파라미터의 약 98%를 제거하면서도 CIFAR10에서 약 52%의 테스트 정확도를 유지하였다.
• 항등 기반 사전을 사용할 경우 전체 입력 픽셀-채널 값 중 약 150개(전체 3072개의 약 5%)만 유지하면서도 약 52%의 정확도를 유지하였으며, 이는 전체 입력 좌표를 제거한 셈이다.
• 프루닝된 모델은 정확도 저하를 최소화하면서도 높은 압축률을 달성하였으며, 이는 기저 선택이 달성 가능한 압축률에 큰 영향을 미친다는 것을 보여준다.
• DCT 기반 프루닝을 통한 저랭크 분해는 효율적인 추론을 가능하게 하였으며, $m \ll \min(d_{\text{in}}, d_{\text{out}})$일 경우 $\mathbf{W} = \mathbf{U}'\mathbf{C}'$의 구조가 더 빠른 행렬 곱셈을 지원한다.
• 비표준 기저에서 작동하도록 조정된 IMP 알고리즘은 희소하고 높은 성능을 보이는 부분공간을 성공적으로 식별하였으며, 일반화된 프레임워크의 타당성을 검증하였다.