[논문 리뷰] Sparse Linear Networks with a Fixed Butterfly Structure: Theory and Practice

Nir Ailon, Omer Leibovich외 1명|arXiv (Cornell University)|2020. 07. 17.

Face and Expression Recognition참고 문헌 41인용 수 5

한 줄 요약

이 논문은 신경망 내 밀집 선형 레이어를 매개변수 수를 제곱에서 거의 선형으로 줄이는 구조적이고 희소한 버터플라이 네트워크 아키텍처로 대체함으로써 모델 정확도를 유지하면서도 파라미터 수를 줄이는 방법을 제안한다. 실험 결과로는 훨씬 빠른 훈련과 추론 속도를 기록하였으며, 이론적 분석을 통해 추가적인 깊이에도 불구하고 최적화 안정성을 유지함을 확인하였다.

ABSTRACT

A butterfly network consists of logarithmically many layers, each with a linear number of non-zero weights (pre-specified). The fast Johnson-Lindenstrauss transform (FJLT) can be represented as a butterfly network followed by a projection onto a random subset of the coordinates. Moreover, a random matrix based on FJLT with high probability approximates the action of any matrix on a vector. Motivated by these facts, we propose to replace a dense linear layer in any neural network by an architecture based on the butterfly network. The proposed architecture significantly improves upon the quadratic number of weights required in a standard dense layer to nearly linear with little compromise in expressibility of the resulting operator. In a collection of wide variety of experiments, including supervised prediction on both the NLP and vision data, we show that this not only produces results that match and at times outperform existing well-known architectures, but it also offers faster training and prediction in deployment. To understand the optimization problems posed by neural networks with a butterfly network, we also study the optimization landscape of the encoder-decoder network, where the encoder is replaced by a butterfly network followed by a dense linear layer in smaller dimension. Theoretical result presented in the paper explains why the training speed and outcome are not compromised by our proposed approach.

연구 동기 및 목표

• 모델 표현력을 유지하면서 밀집 선형 레이어의 파라미터 수를 O(n²)에서 거의 O(n log n)로 줄이는 것.
• 성능 저하 없이 딥 신경망의 훈련 및 추론 속도를 향상시키는 것.
• 특히 인코더-디코더 설정에서 버터플라이 구조 레이어를 사용한 신경망의 최적화 지형을 분석하는 것.
• 낮은 랭크 행렬 근사 및 지도 학습에서 학습된 잘라낸 버터플라이 네트워크의 효과성을 입증하는 것.
• 버터플라이 네트워크의 로그형 깊이가 경사 하강법 수렴에 악영향을 미치는지 탐구하는 것.

제안 방법

• 표준 밀집 선형 레이어를 J₁ᵀW'J₂의 조합으로 대체함. 여기서 J₁과 J₂는 잘라낸 버터플라이 네트워크이며, W'은 작은 밀집 레이어이다.
• 빠른 존슨-린든스트라우스 변환(FJLT)을 이론적 기초로 사용하며, 이는 버터플라이 네트워크에 이어 무작위 투영을 적용한 것으로 표현된다.
• 버터플라이 네트워크를 O(log n)의 깊이를 가진 계층적 그래프로 구성하며, 각 계층은 O(n)개의 비영 요소를 가지며 서로 겹치지 않는 2×2 가젯으로 조직된다.
• 표준 역전파를 사용하여 작은 밀집 레이어 W'의 가중치만 엔드 투 엔드로 훈련하고, 버터플라이 구조는 고정한다.
• 낮은 랭크 행렬 근사 실험에서 입력 행의 무작위 순열을 적용하고, 행렬을 정규화하여 데이터셋 간의 특이값을 균형 있게 만든다.
• 낮은 랭크 행렬 근사 작업에서 학습된 버터플라이 행렬을 Indyk 등(2019)의 희소 학습 행렬, Clarkson & Woodruff(2009)의 무작위 희소 행렬, 그리고 가우시안 행렬과 비교한다.

실험 결과

연구 질문

• RQ1 고정된 토폴로지의 희소하고 구조적인 버터플라이 네트워크가 밀집 선형 레이어를 대체해도 모델 정확도를 유지할 수 있는가?
• RQ2 버터플라이 네트워크 아키텍처의 로그형 깊이가 딥 네트워크에서 경사 하강법 수렴에 악영향을 미치는가?
• RQ3 낮은 랭크 행렬 근사에서 학습된 버터플라이 스케치의 성능은 학습된 희소 또는 무작위 희소 스케치보다 어떻게 다른가?
• RQ4 버터플라이 아키텍처는 시각 및 자연어 처리 작업에서 표현력을 손상시키지 않고 파라미터 수를 얼마나 줄일 수 있는가?
• RQ5 Indyk 등(2019)에서처럼 버터플라이 구조를 행렬 근사에 효과적으로 활용할 수 있으며, 근사 오차를 개선할 수 있는가?

주요 결과

• 제안된 버터플라이 기반 아키텍처는 다양한 NLP 및 비전 벤치마크에서 표준 밀집 레이어와 비교해 테스트 오차가 유사하거나 더 낮게 유지된다.
• 낮은 랭크 행렬 근사에서, 학습된 버터플라이 스케치는 N=1인 희소 학습 행렬과 N=20인 밀집 학습 행렬보다 ℓ=20, k=10에서 더 낮은 테스트 오차를 기록하였다.
• 버터플라이 아키텍처로 훈련할 경우 훨씬 빠른 속도를 기록하였으며, 몇 번의 훈련 반복 이내에 희소 기반 모델을 초월하는 테스트 오차를 달성하였다.
• 이론적 분석을 통해 버터플라이 인코더를 가진 인코더-디코더 네트워크의 최적화 지형은 안정적이며, 구조적 희소성에도 불구하고 수렴을 지원함을 확인하였다.
• 이 방법은 파라미터 수를 O(n²)에서 거의 O(n log n)로 줄여, 정확도 손실 최소화로 인해 더 빠른 추론과 훈련을 가능하게 하였다.
• 실험 결과로는 여러 밀집 레이어를 버터플라이 구조로 대체하는 것이 가능할 수 있음을 시사하지만, 본 연구에서는 이에 대한 완전한 탐구가 이루어지지는 않았다.