[논문 리뷰] Differentiable Sparsification for Deep Neural Networks

Yognjin Lee|arXiv (Cornell University)|2019. 10. 08.

Advanced Neural Network Applications참고 문헌 39인용 수 5

한 줄 요약

이 논문은 확률적 경사 하강법을 사용하여 정규화된 목적 함수를 통해 네트워크 가중치와 희소성 구조를 동시에 최적화하는 완전히 미분 가능한 희소화 방법을 제안한다. 학습 가능한 어텐션 매스킹과 미분 가능한 정규화를 활용함으로써, 최소한의 아키텍처 변경으로도 엔드 투 엔드 학습이 가능하며, 모델 성능을 유지하거나 향상시키면서 최신 기술 수준의 희소성 성능을 달성한다.

ABSTRACT

Deep neural networks have significantly alleviated the burden of feature engineering, but comparable efforts are now required to determine effective architectures for these networks. Furthermore, as network sizes have become excessively large, a substantial amount of resources is invested in reducing their sizes. These challenges can be effectively addressed through the sparsification of over-complete models. In this study, we propose a fully differentiable sparsification method for deep neural networks, which can zero out unimportant parameters by directly optimizing a regularized objective function with stochastic gradient descent. Consequently, the proposed method can learn both the sparsified structure and weights of a network in an end-to-end manner. It can be directly applied to various modern deep neural networks and requires minimal modification to the training process. To the best of our knowledge, this is the first fully differentiable sparsification method.

연구 동기 및 목표

• 최소한의 인간 간섭으로 효율적인 딥 네ural 네트워크 아키텍처 설계의 증가하는 도전에 대응하기 위해.
• 기존의 프루닝 및 프락시멀 경사 하강 방법의 한계를 극복하기 위해, 수작업으로 구현하거나 폐쇄형 해를 필요로 하지 않는 방법을 위해.
• 완전히 미분 가능한 프레임워크를 통해 네트워크 가중치와 희소성 패턴을 동시에 엔드 투 엔드로 학습할 수 있도록 하기 위해.
• 모든 노름, 비볼록 $l_p$-노름을 포함하여 유연한 정규화를 지원하면서도 분석적 프락시멀 연산자를 필요로 하지 않기 위해.
• 최소한의 훈련 파이프라인 수정으로 다양한 딥 러닝 모델에 희소화를 원활하게 통합하기 위해.

제안 방법

• 네트워크 구성 요소 간 잠재적 연결을 나타내기 위해 학습 가능한 어텐션 매스킹 $\tilde{A}_{i,j} = \exp(\alpha_{i,j})$ 를 도입한다.
• 반복적이고 미분 가능한 균형 잡힌 정규화(싱크호른 정규화의 변형)를 적용하여 $\tilde{A}$ 를 이중 확률 행렬 $A$ 로 변환한다.
• 행과 열 벡터의 $l_p$-노름 정규화($p=0.5$)를 사용하여 그룹 내 경쟁을 유도하고 구조적 희소성을 장려한다.
• 희소화 모듈을 손실 함수에 통합하여 $\mathcal{L}(D,W,A) + \frac{\lambda}{2}\sum_{i=1}^{N}\left[\mathcal{R}(A_{i,:}) + \mathcal{R}(A_{:,i})\right]$ 를 사용한다. 여기서 $\mathcal{R}$ 은 $l_p$-노름을 의미한다.
• 자동 미분을 활용하여 전체 희소화 과정을 역전파함으로써 수작업 프락시멀 업데이트가 필요 없도록 한다.
• 이 방법을 그래프 신경망에 엔드 투 엔드로 적용하여, 도로 네트워크에서 희소하고 의미 있는 관계를 학습하는 데 그 효과를 입증한다.

실험 결과

연구 질문

• RQ1 기존 모델이나 폐쇄형 프락시멀 연산자를 의존하지 않고도, 네트워크 가중치와 희소성 구조를 동시에 최적화할 수 있는 완전히 미분 가능한 희소화 방법을 설계할 수 있는가?
• RQ2 미분 가능한 희소화와 $l_p$-노름 정규화($p=0.5$)는 전통적인 $l_1$ 또는 $l_{2,1}$ 정규화와 비교해 어떻게 구조적 희소성을 유도하는가?
• RQ3 제안된 방법은 실제 그래프 구조 데이터(예: 교통 네트워크)에서 의미 있고 희소한 구조적 관계를 얼마나 잘 학습할 수 있는가?
• RQ4 이 방법은 최소한의 아키텍처 수정으로 다양한 딥 네URAL 네트워크 아키텍처에 적용될 수 있는가?
• RQ5 미분 가능한 정규화(예: 싱크호른 스타일)는 안정적이고 해석 가능한 희소성을 지원하는 데 있어 이중 확률 행렬을 신뢰성 있게 생성하는가?

주요 결과

• 제안된 방법은 교통 속도 예측에서 평균 절대 백분율 오차(MAPE)가 5.4957%를 기록하여, 비교 기준 I(5.5160%)와 비교 기준 II(5.6343%)를 모두 능가했으며, 비로소 희소한 비제로 파라미터를 사용했다.
• 모델은 비제로 파라미터가 오직 1,009개 뿐이었으며(비교 기준 I는 878개, 비교 기준 II는 28,900개), 성능을 유지하면서도 높은 희소성을 달성했다.
• 학습된 인접 행렬은 $k=1$일 때 88.62%의 학습된 관계(LR) 스코어를 기록했고, $k=2$일 땐 91.39%를 기록하여 실제 도로 연결성과 강한 일치를 보였다.
• 기본 모델이 전체 인접 행렬을 사용하는 데 반해, 이 방법은 지식 기반 연결성을 의존하지 않고도 도로 세그먼트 간에 의미 있고 희소한 관계를 효과적으로 학습했다.
• $l_{0.5}$-노름 정규화와 함께 미분 가능한 정규화를 사용함으로써, 분석적 해가 필요한 프락시멀 연산자를 요구하지 않으면서도 효과적이고 구조적인 희소성을 달성할 수 있었다.
• 수치 실험을 통해 균형 잡힌 정규화가 약간의 이중 확률 행렬을 생성하는 것으로 확인되었지만, 이에 대한 이론적 근거는 아직 미해결 과제로 남아 있다.