[논문 리뷰] From Hard to Soft: Understanding Deep Network Nonlinearities via Vector Quantization and Statistical Inference

Randall Balestriero, Richard G. Baraniuk|arXiv (Cornell University)|2018. 10. 22.

Remote-Sensing Image Classification인용 수 7

한 줄 요약

이 논문은 벡터 양자화(VQ)와 가우시안 믹스처 모델(GMM)을 연결하는 확률적 프레임워크를 통해 ReLU, 시그모이드, 하이퍼볼릭 탄젠트, 스위시 등 광범위한 딥 네트워크 비선형성들을 통합한다. 소프트 MASO(SMASO)와 $\beta$-VQ 추론을 도입하여 딱딱한 VQ는 조각별 애프린 기반 비선형성(예: ReLU)과 대응하고, 부드러운 VQ는 시그모이드, 하이퍼볼릭 탄젠트, 소프트맥스를 복원함을 보여주며, 특히 선형 필터의 직교성 강제 조건이 네트워크 정확도를 크게 향상시킨다는 것을 입증한다.

ABSTRACT

Nonlinearity is crucial to the performance of a deep (neural) network (DN). To date there has been little progress understanding the menagerie of available nonlinearities, but recently progress has been made on understanding the r\\^ole played by piecewise affine and convex nonlinearities like the ReLU and absolute value activation functions and max-pooling. In particular, DN layers constructed from these operations can be interpreted as {\\em max-affine spline operators} (MASOs) that have an elegant link to vector quantization (VQ) and $K$-means. While this is good theoretical progress, the entire MASO approach is predicated on the requirement that the nonlinearities be piecewise affine and convex, which precludes important activation functions like the sigmoid, hyperbolic tangent, and softmax. {\\em This paper extends the MASO framework to these and an infinitely large class of new nonlinearities by linking deterministic MASOs with probabilistic Gaussian Mixture Models (GMMs).} We show that, under a GMM, piecewise affine, convex nonlinearities like ReLU, absolute value, and max-pooling can be interpreted as solutions to certain natural "hard" VQ inference problems, while sigmoid, hyperbolic tangent, and softmax can be interpreted as solutions to corresponding "soft" VQ inference problems. We further extend the framework by hybridizing the hard and soft VQ optimizations to create a $\\beta$-VQ inference that interpolates between hard, soft, and linear VQ inference. A prime example of a $\\beta$-VQ DN nonlinearity is the {\\em swish} nonlinearity, which offers state-of-the-art performance in a range of computer vision tasks but was developed ad hoc by experimentation. Finally, we validate with experiments an important assertion of our theory, namely that DN performance can be significantly improved by enforcing orthogonality in its linear filters.

연구 동기 및 목표

• ReLU, 시그모이드, 하이퍼볼릭 탄젠트, 스위시 등 다양한 딥 네트워크 비선형성을 단일 이론적 프레임워크로 통합하는 것.
• 기존의 조각별 애프린 및 볼록 비선형성만 다루는 Max-Affine Spline Operator(MASO) 프레임워크를, 시그모이드 및 소프트맥스와 같은 비볼록성 및 연속 함수까지 포함하도록 확장하는 것.
• 결정론적 벡터 양자화(VQ)와 확률론적 가우시안 믹스처 모델(GMM) 간의 체계적 연결을 구축하여 비선형성을 추론 문제로 해석하는 데 기여하는 것.
• 딱딱한 VQ와 부드러운 VQ, 선형 VQ 사이를 연속적으로 보간할 수 있는 $\beta$-VQ 추론 기반 메커니즘을 개발하여 새로운 비선형성 도입 및 더 나은 해석 가능성 확보.
• 다양한 데이터셋과 아키텍처에서 선형 필터의 직교성 강제 조건이 딥 네트워크 성능 향상에 기여하는지 실증적으로 검증하는 것.

제안 방법

• 가우시안 믹스처 모델(GMM) 기반의 확률적 VQ 추론으로 간주되는 소프트 MASO(SMASO) 모델을 제안하여 결정론적 MASO를 일반화한다.
• 딱딱한 VQ 추론(사후 확률 최대화)가 조각별 애프린 및 볼록 비선형성(예: ReLU, 맥스 풀링)과 대응함을 도출한다.
• VQ 영역 소속 확률의 최대사후확률(MAP) 추정을 통한 소프트 VQ 추론을 도입하여 시그모이드, 하이퍼볼릭 탄젠트, 소프트맥스가 자연스러운 해로 복원됨을 보인다.
• $\beta$-VQ 추론을 딱딱한 VQ와 부드러운 VQ 사이의 연속적 보간으로 개발하며, 스위시 활성화 함수가 이 프레임워크의 특정 사례임을 입증한다.
• 선형 필터의 직교성을 유도하기 위해 손실 함수에 직교성 페널티를 도입하고, 진정한 직교성을 확보하기 위해 정확한 그람-슈미트 재매개변수화를 추가로 검증한다.
• 필터가 직교할 경우 계산이 가능해지는 인과적 VQ 모델 기반의 공동 MAP 추론을 사용하여 이론적 보장과 효율적 계산을 동시에 확보한다.

실험 결과

연구 질문

• RQ1 조각별 애프린 비선형성(예: ReLU)과 부드러운 비선형성(예: 시그모이드, 스위시)을 동시에 설명할 수 있는 통합 이론적 프레임워크가 존재하는가?
• RQ2 벡터 양자화(VQ)와 가우시안 믹스처 모델(GMM)을 어떻게 활용하여 딥 네트워크 비선형성을 해석하고 일반화할 수 있는가?
• RQ3 부드러운 VQ 추론과 딱딱한 VQ 추론은 시그모이드, 스위시, 소프트맥스 풀링과 같은 기존 및 신규 비선형성을 유도하는 데 어떤 역할을 하는가?
• RQ4 선형 필터의 직교성 강제 조건이 딥 네트워크 성능 향상에 측정 가능한 영향을 미칠 수 있는가?
• RQ5 $\beta$-VQ 추론은 딱딱한, 부드러운, 선형 VQ 사이를 연속적으로 보간할 수 있으며, 이는 활성화 함수 설계에 어떤 영향을 미치는가?

주요 결과

• 스위시 비선형성은 공식적으로 $\beta$-VQ 비선형성으로 식별되어 그 경험적 성공에 대한 체계적인 이론적 근거를 제공한다.
• 부드러운 VQ 추론은 시그모이드, 하이퍼볼릭 탄젠트, 소프트맥스를 자연스러운 해로 복원하여 이들을 확률적 추론 프레임워크 아래 통합한다.
• 완전 연결 및 컨볼루션 레이어에서 필터의 직교성 강제 조건이 SVHN, CIFAR10, CIFAR100 데이터셋 전반에서 분류 정확도 향상에 기여한다.
• largeCNN 모델은 그람-슈미트 재매개변수화를 통해 정확히 직교하는 필터를 사용하여 CIFAR100에서 61.2%의 정확도를 달성하였으며, 기준선인 43.6%보다 뚜렷한 향상이 있었다.
• 직교성 페널티는 모든 학습률과 데이터셋에서 정확도 향상을 보였으며, 특히 CIFAR100에서 가장 큰 성과를 보였다(예: 페널티 적용 시 46.1% vs. 기준선 43.6%).
• 필터가 직교할 경우 인과적 VQ 모델 기반 공동 MAP 추론이 계산 가능해지며, 이는 효율적 계산과 이론적 보장 가능성을 동시에 확보한다.