[논문 리뷰] Nonparametric Bayesian Deep Networks with Local Competition

Konstantinos P. Panousis, Sotirios Chatzis외 1명|arXiv (Cornell University)|2018. 05. 19.

Gaussian Processes and Bayesian Inference참고 문헌 29인용 수 3

한 줄 요약

이 논문은 지역적 승자-한 명이 가져가기(LWTA) 비선형성과 스틱-브레이킹 사전확률을 사용하여 훈련 중에 최소 네트워크 복잡도와 최적의 부동소수점 정밀도를 추론하는 비모수 베이지안 딥러닝 프레임워크인 SB-LWTA 네트워크를 제안한다. 구성 요소의 유용성을 이산 잠재 변수를 통해 모델링하고 베이지안 추론을 수행함으로써, 이 방법은 계산 자원 소비와 예측 시간을 크게 줄이며, MNIST 및 LeNet-5-Caffe 벤치마크에서 기존 방법들을 능가하는 최고 수준의 정확도를 달성한다.

ABSTRACT

The aim of this work is to enable inference of deep networks that retain high accuracy for the least possible model complexity, with the latter deduced from the data during inference. To this end, we revisit deep networks that comprise competing linear units, as opposed to nonlinear units that do not entail any form of (local) competition. In this context, our main technical innovation consists in an inferential setup that leverages solid arguments from Bayesian nonparametrics. We infer both the needed set of connections or locally competing sets of units, as well as the required floating-point precision for storing the network parameters. Specifically, we introduce auxiliary discrete latent variables representing which initial network components are actually needed for modeling the data at hand, and perform Bayesian inference over them by imposing appropriate stick-breaking priors. As we experimentally show using benchmark datasets, our approach yields networks with less computational footprint than the state-of-the-art, and with no compromises in predictive accuracy.

연구 동기 및 목표

• 데이터 기반의 모델 복잡도 추론을 가능하게 하여 딥 네트워크의 과도한 파rameter화와 높은 계산 비용 문제를 해결하고자 한다.
• 자동 네트워크 프루닝과 정밀도 압축을 통해 모델의 부여를 줄이고 자원 제약이 있는 장치로의 확장성을 향상시키고자 한다.
• 비모수 사전확률을 사용하여 네트워크 구조와 파rameter 정밀도를 동시에 추론하는 체계적인 베이지안 프레임워크를 개발하고자 한다.
• 생물학적으로 타당한 희소성과 분류 능력을 갖춘 표현을 위해 국소 승자-한 명이 가져가기(LWTA) 메커니즘을 활용하고자 한다.
• 예측 정확도와 계산 효율성 면에서 기존 정규화, distillation, 프루닝 방법들을 능가하는 성능을 달성하고자 한다.

제안 방법

• 지역적 승자-한 명이 가져가기(LWTA) 유닛에 기반한 딥 네트워크 아키텍처를 도입하며, 라테럴 억제를 통해 블록당 하나의 유닛만 활성화된다.
• 데이터 모델링에 실제로 필요한 네트워크 구성 요소(유닛 또는 연결)를 나타내기 위해 보조 이산 잠재 변수를 사용한다.
• 이러한 잠재 변수에 스틱-브레이킹 사전확률을 적용하여 구성 요소의 유용성과 모델 복잡도에 대한 비모수 베이지안 추론을 가능하게 한다.
• 스토캐스틱 그래디언트 변분 베이즈(SGVB)를 사용하여 네트워크 구성 요소와 가중치 정밀도에 대한 효율적 훈련 및 사후 추론을 수행한다.
• 추론된 가중치 사후분포의 분산을 분석하여 최적의 부동소수점 정밀도를 추론함으로써 정확도 손실 없이 압축을 가능하게 한다.
• 제안된 SB-LWTA 모델은 히우리스틱 디스틸레이션 및 정규화 기법들에 대한 체계적이고 데이터 기반의 대안으로 유도된다.

실험 결과

연구 질문

• RQ1 주어진 데이터셋에 필요한 최소 네트워크 복잡도를 효과적으로 추론할 수 있는 비모수 베이지안 프레임워크가 가능한가?
• RQ2 딥 네트워크에서 국소 경쟁(LWTA)을 사용할 경우, 표준 비선형성 대비 더 효율적이고 정확한 모델을 도출할 수 있는가?
• RQ3 스틱-브레이킹 사전확률이 딥 네트워크에서 네트워크 구조와 파rameter 정밀도를 동시에 효과적으로 추론하는 데 적합하게 적용될 수 있는가?
• RQ4 제안된 방법이 예측 정확도를 유지하거나 향상시키면서 계산 자원 소비를 어느 정도 줄일 수 있는가?
• RQ5 LWTA 블록 내 승자 선택 패턴이 다양한 클래스 간에 분류 가능하고 일반화 가능한 특징을 어떻게 반영하는가?

주요 결과

• SB-LWTA 네트워크는 MNIST 데이터셋에서 비교된 모든 방법들 중에서 가장 높은 예측 정확도를 달성하였으며, 원본 LeNet-5-Caffe 아키텍처조차도 능가하였다.
• 모든 기준선 대비 기능맵 수를 가장 낮게 줄여, 뛰어난 구조적 압축 능력을 보였다.
• 예측 시간은 원본 네트워크 대비 한 단계 감소하여 뚜렷한 추론 효율성 향상을 입증하였다.
• 에포크당 평균 훈련 시간은 원본 네트워크 대비 오직 10% 뿐이 증가하여 훈련 오버헤드가 극히 미미함을 보였다.
• MNIST 숫자 간 승자 선택 확률이 유의미하게 다름을 보여, 모델이 분류 가능하고 클래스 특화된 패턴을 학습하고 있음을 확인하였다.
• 숫자 쌍 간 승자 유닛의 겹침 비율이 항상 50% 이하로 유지되어, 승자-한 명이 가져가기 메커니즘이 독립적이고 일반화 가능한 표현을 인코딩하고 있음을 확인하였다.