[논문 리뷰] Lottery Tickets in Linear Models: An Analysis of Iterative Magnitude Pruning

Bryn Elesedy, Varun Kanade외 1명|arXiv (Cornell University)|2020. 07. 16.

Generative Adversarial Networks and Image Synthesis참고 문헌 24인용 수 10

한 줄 요약

이 논문은 경사 유량을 통해 훈련된 선형 모델에서 반복적 크기 프루닝(IMP)을 분석하여, 설계 행렬 조건이 온화할 경우, 신호 성분이 잡음 수준의 두 배를 초과할 때, IMP가 희박 신호의 지지집합을 높은 확률로 복구함을 보여준다. 주요 기여는 IMP의 성공이 직교 nullspace 조건과 서브-가우시안 잡음에 기반한 이론적 보장으로 이어지며, 정보를 담고 있는 특징이 유지되는 조건을 규명한다.

ABSTRACT

We analyse the pruning procedure behind the lottery ticket hypothesis arXiv:1803.03635v5, iterative magnitude pruning (IMP), when applied to linear models trained by gradient flow. We begin by presenting sufficient conditions on the statistical structure of the features under which IMP prunes those features that have smallest projection onto the data. Following this, we explore IMP as a method for sparse estimation.

연구 동기 및 목표

• 반복적 크기 프루닝(IMP)이 신경망에서 효과적인 이유를 선형 모델이라는 더 단순한 설정에서 연구함으로써 이해하고자 한다.
• IMP가 데이터에 대해 최소 투영을 가지는 특징을 제거할 수 있는 특징 설계 행렬에 대한 충분한 조건을 규명하고자 한다.
• IMP를 희박 추정 방법으로 프레임하고, 진짜 신호의 지지집합을 복구할 수 있는 능력에 대한 이론적 보장을 도출하고자 한다.
• 신호 성분의 크기가 잡음에 비해 임계값을 초과할 경우, 그 성분이 복구될 가능성이 높은 조건을 높은 확률로 유도하고자 한다.
• 선형 모델에서의 통찰을 바탕으로 깊이 있는 네트워크에서의 러트지 티켓을 이해하는 데 기여하고자 한다.

제안 방법

• 연구는 무작위로 초기화된 가중치 행렬을 가진 선형 모델을 경사 유량으로 훈련한 후, 각 훈련 단계 이후 가장 작은 크기의 가중치를 제거하는 방식으로 반복적 크기 프루닝을 적용한다.
• 프루닝 과정은 알고리즘 1로 공식화되며, 이는 프루닝된 가중치를 초기 값으로 재설정하고 재훈련함으로써, 활성 가중치를 추적하는 마스크 행렬 M을 유지한다.
• 이론적 분석은 설계 행렬 Σ의 직교 nullspace 조건에 기반하며, 이 조건은 프루닝 후에도 신호 투영이 유지됨을 보장한다.
• 이 방법은 추정 오차를 서브-가우시안 잡음 ξ에 의한 변동으로 모델링하고, 서브-가우시안 농도 부등식을 사용하여 이 오차의 크기를 제한한다.
• 핵심 식으로는 경사 유량 업데이트 ẇ(t) = -M∇L(w(t))와 최종 가중치 추정치 w(∞) = s + (1/n)(Σ⁺Φᵀξ)가 있으며, 여기서 s는 진짜 신호이다.
• 높은 확률의 경계는 레마 6을 사용하여 유도되며, 이는 특징 전역에서 잡음에 의해 유도된 오차의 최대 이탈을 제어한다.

실험 결과

연구 질문

• RQ1 특징 설계 행렬에 어떤 조건이 성립할 경우 반복적 크기 프루닝(IMP)이 희박한 신호의 지지집합을 성공적으로 복구할 수 있는가?
• RQ2 신호 성분의 크기가 잡음에 비해 어느 정도일 경우, IMP 프루닝 과정에서 유지될 가능성이 높아지는가?
• RQ3 IMP는 희박 추정의 한 형태로 해석될 수 있으며, 만약 그렇다면 어떤 이론적 보장을 도출할 수 있는가?
• RQ4 설계 행렬의 직교 nullspace 조건은 프루닝이 정보를 담고 있는 특징을 제거하지 않도록 보장하는 데 어떤 역할을 하는가?
• RQ5 서브-가우시안 잡음과 표본 수는 IMP가 진짜 신호를 복구하는 데 있어 신뢰성에 어떤 영향을 미치는가?

주요 결과

• 신호 성분의 크기가 잡음 수준 γ의 두 배 이상일 경우, IMP는 희박한 신호의 지지집합을 높은 확률로 복구한다.
• 표본 수가 n ≥ (8σ² / (γ²λ_min^≠0)) log(2p/δ)를 만족할 경우, 복구 보장이 높은 확률(1−δ)로 성립하며, 여기서 λ_min^≠0는 설계 행렬의 최소 비영 특이값이다.
• 분석 결과, 잡음에 의해 유도된 오차 항이 γ/2 이하일 경우, |s_i| ≥ γ인 특징은 프루닝되지 않으며, 이는 주어진 표본 수 조건 하에서 보장된다.
• 설계 행렬의 직교 nullspace 조건은 프루닝 후에도 신호 투영이 복구 가능하게 하여 신호 구조를 유지함을 보장한다.
• 결과는 특징 설계에 대해 강건하며, 설계 행렬의 최소 비영 고유값에 대한 경계가 존재할 경우 랜덤 특징으로도 확장 가능하다.
• 이론적 프레임워크는 IMP가 신경망에서 작동하는 이유를 이해하는 데 기초를 제공하며, 일반화를 향상시키는 인도적 편향을 선택하는 데 기여한다.