[논문 리뷰] Logarithmic Pruning is All You Need

Laurent Orseau, Marcus Hütter외 1명|arXiv (Cornell University)|2020. 06. 22.

Advanced Neural Network Applications참고 문헌 15인용 수 8

한 줄 요약

이 논문은 큰 크기의 무작위로 초기화된 ReLU 신경망이 훈련 없이도 목표 가중치를 고정된 정확도로 근사할 수 있는 부분망을 포함할 수 있음을 보여주며, 이는 로그 수준의 과다 파rameter화—구체적으로는 각 목표 가중치당 O(log(n_max/ε))개의 뉴런—으로 달성된다. 이는 훈련 없이도 강력한 성능을 달성하기 위해 프루닝이 충분함을 증명하며, 이는 이전의 다항식 계수에 비해 크게 향상된 것이다.

ABSTRACT

The Lottery Ticket Hypothesis is a conjecture that every large neural network contains a subnetwork that, when trained in isolation, achieves comparable performance to the large network. An even stronger conjecture has been proven recently: Every sufficiently overparameterized network contains a subnetwork that, at random initialization, but without training, achieves comparable accuracy to the trained large network. This latter result, however, relies on a number of strong assumptions and guarantees a polynomial factor on the size of the large network compared to the target function. In this work, we remove the most limiting assumptions of this previous work while providing significantly tighter bounds:the overparameterized network only needs a logarithmic factor (in all variables but depth) number of neurons per weight of the target subnetwork.

연구 동기 및 목표

• 훈련 없이도 목표 신경망을 근사할 수 있는 부분망을 포함하기 위해 필요한 과다 파arameter화의 이론적 한계를 더 좁히는 것.
• 이전 연구에서 요구하던 강한 가정(예: 유한한 가중치 및 입력 노름)을 제거하면서도 핵심 변수에 대해 다항식에서 로그 수준으로의 스케일링을 개선하는 것.
• 각 가중치당 로그 수준의 과다 파arameter화가 고정밀도 근사에 충분함을 보여주며, 이는 프루닝이 과다 파arameter화된 신경망에서 학습의 핵심 메커니즘임을 지지하는 것.
• 로또 티켓 가설에 대한 이론적 기반을 제공하여, 최소한의 부여와 함께 무작위로 초기화된 네트워크 내에서 '승자 티켓'의 존재를 증명하는 것.

제안 방법

• 목표 가중치를 로그 수준으로 근사할 수 있도록 하기 위해, 하이퍼볼릭 분포(1/v)에서 샘플링된 가중치를 가진 큰 완전 연결 ReLU 신경망을 구성한다.
• 황금비율 분해 전략을 사용하여, 목표 가중치를 기하급수적으로 간격을 두고 배치된 구간에서 샘플링된 가중치의 소수의 합으로 표현한다.
• 각 구간에 적어도 하나의 샘플링된 가중치가 포함될 확률을 근사하기 위해 확률론적 추론을 적용하여, 높은 확률로 성공을 보장한다.
• 집중 불등식을 활용하여, m = O(k′ log(k′/δ))개의 샘플이 충분함을 보이며, 여기서 k′ = log_{3/2}(3w_max/(2ε))는 분해에 사용된 구간의 수이다.
• 높은 확률(1−δ)로, 최대 k′개의 활성 뉴런을 가진 부분망이 임의의 목표 가중치를 ε 정확도 이내로 근사할 수 있음을 증명한다.
• 1/v 분포의 척도 불변성 특성을 활용하여, 정규화 제약 조건 없이도 다양한 가중치 크기 범위로 결과를 일반화한다.

실험 결과

연구 질문

• RQ1 목표 신경망의 크기에 대해 과다 파arameter화 수준을 다항식에서 로그 수준으로 줄일 수 있는가?
• RQ2 유한한 가중치나 입력 노름을 가정하지 않더라도, 무작위로 초기화된 네트워크 내에서 '승자 티켓'의 존재가 성립하는가?
• RQ3 목표 가중치당 로그 수준의 뉴런 수로 프루닝을 통해 고정밀도 근사가 가능할 수 있는가?
• RQ4 어떤 목표 가중치도 ε 정확도 내에서 부분망을 통해 합으로 표현하기 위해 필요한 최소한의 샘플링된 가중치 수는 얼마인가?
• RQ5 가중치 샘플링 분포의 선택(예: 1/v vs. 균일 분포)이 근사에 필요한 과다 파arameter화에 어떤 영향을 미치는가?

주요 결과

• 가중치 및 입력 노름이 유한하다고 가정할 경우, 필요한 뉴런 수는 Õ(log(n_max/ε)) 수준으로 증가하며, 이는 이전의 다항식 계수에 비해 크게 향상된 것이다.
• 유한한 노름 가정 없이도, 각 가중치당 필요한 뉴런 수는 Õ(ℓ log(n_max/ε))로 증가하며, 이는 깊이에 따른 의존성이 피할 수 없음을 보여준다.
• 하이퍼볼릭 가중치 분포(1/v)는 척도 불변성과 로그 간격에 걸친 균일한 커버리지 덕분에 로그 수준 근사를 가능하게 한다.
• 높은 확률(1−δ)로, 크기가 Õ(log(1/ε) · log(1/δ))인 부분망이 소수의 활성 뉴런만을 사용하여 어떤 목표 가중치도 ε 정확도 이내로 근사할 수 있다.
• 훈련이 필요 없이도 성립하며, 이는 '승자 티켓'이 최소한의 과다 파arameter화로 무작위 초기화 시점에 존재함을 보여준다.
• 이론적 프레임워크는 확률적 경사 하강법이 주로 프루닝 메커니즘으로 작용할 수 있으며, 전역 최적해에 가까운 부분망을 드러낼 수 있음을 지지한다.