[논문 리뷰] SplineNets: Continuous Neural Decision Graphs

Cem Keskin, Shahram Izadi|arXiv (Cornell University)|2018. 10. 31.

Human Pose and Action Recognition인용 수 9

한 줄 요약

SplineNets는 B-spline 다양체에 함수 가중치를 매핑하여 컨volutional 신경망에 연속적이고 미분 가능한 결정 메커니즘을 도입함으로써 동적이고 계층적인 조건부 계산을 가능하게 한다. 이 방법은 최대 3배의 FLOPS 절감을 이끌어내며, 5개의 결합점과 질량-3 투영을 사용하는 32층의 SplineNet만으로 ResNet-110의 정확도를 유지한다.

ABSTRACT

We present SplineNets, a practical and novel approach for using conditioning in convolutional neural networks (CNNs). SplineNets are continuous generalizations of neural decision graphs, and they can dramatically reduce runtime complexity and computation costs of CNNs, while maintaining or even increasing accuracy. Functions of SplineNets are both dynamic (i.e., conditioned on the input) and hierarchical (i.e., conditioned on the computational path). SplineNets employ a unified loss function with a desired level of smoothness over both the network and decision parameters, while allowing for sparse activation of a subset of nodes for individual samples. In particular, we embed infinitely many function weights (e.g. filters) on smooth, low dimensional manifolds parameterized by compact B-splines, which are indexed by a position parameter. Instead of sampling from a categorical distribution to pick a branch, samples choose a continuous position to pick a function weight. We further show that by maximizing the mutual information between spline positions and class labels, the network can be optimally utilized and specialized for classification tasks. Experiments show that our approach can significantly increase the accuracy of ResNets with negligible cost in speed, matching the precision of a 110 level ResNet with a 32 level SplineNet.

연구 동기 및 목표

• 깊은 CNN의 높은 계산 비용을 해결하기 위해 동적이고 계층적인 조건부 계산을 가능하게 하기 위해.
• 연속적이고 미분 가능한 분기 메커니즘을 통해 정확도를 유지하면서 모델 추론 복잡도를 감소시키기 위해.
• 기존 이산적 결정 네트워크의 불연속성 문제를 해결하기 위해 카테고리적 선택을 연속적인 위치 파라미터로 대체하기 위해.
• 스플라인 위치와 클래스 레이블 간의 상호정보를 최대화하여 분류를 위한 네트워크 특화를 최적화하기 위해.
• 매끄럽고 저차원의 다양체를 통해 네트워크 파라미터를 구조화하여 효율적인 모델 압축과 프루닝을 가능하게 하기 위해.

제안 방법

• SplineNets는 B-spline로 매개변수화된 연속적이고 저차원의 다양체에 무한한 함수 가중치(예: 필터)를 매핑한다. 이는 연속적인 위치 파라미터로 인덱싱된다.
• 이산적 브랜치 선택 대신, 샘플은 스플라인 다양체 상의 연속적인 위치를 선택함으로써 네트워크 구성 요소의 미분 가능하고 희소한 활성화를 가능하게 한다.
• 이 방법은 네트워크 및 결정 파라미터에 대해 부드러움을 강제하는 통합 손실 함수를 사용하여 엔드 투 엔드 학습을 가능하게 한다.
• 네트워크는 입력 특징에 따라 동적으로 조건부로 작동하며, 이전 계산 경로에 따라 계층적으로 조건부로 작동함으로써 적응적이고 맥락 인식 가능한 계산을 가능하게 한다.
• 스플라인 위치와 클래스 레이블 간의 상호정보를 최대화하여 분류를 위한 네트워크 특화를 향상시켜 일반화 능력과 효율성을 향상시킨다.
• 이 프레임워크는 동적 전용 및 계층적 변형을 모두 지원하며, 다양한 결정 메커니즘(예: 내적, 질량-3 결합점)과 결합점 수를 선택할 수 있다.

실험 결과

연구 질문

• RQ1 신경망 내에서 연속적이고 미분 가능한 결정 작동이 추론 복잡도를 줄이면서 정확도를 유지하거나 향상시킬 수 있는가?
• RQ2 B-spline 다양체에 함수 가중치를 매핑하는 것과 이산적 분기 간의 모델 효율성과 일반화 능력은 어떻게 비교되는가?
• RQ3 스플라인 위치와 레이블 간의 상호정보를 최대화함으로써 네트워크 특화 및 성능 향상은 어느 정도 이루어지는가?
• RQ4 결합점 수를 늘릴 경우 모델 크기, FLOPS, 정확도 간의 상호 교환 관계는 어떻게 되는가?
• RQ5 SplineNets는 훨씬 적은 파라미터와 FLOPS로 깊은 잔차 네트워크(예: ResNet-110)와 유사한 성능을 달성할 수 있는가?

주요 결과

• 32층과 5개의 결합점(H(5)-D-R3)을 가진 SplineNets는 ResNet-110과 동일한 정확도를 달성하면서 FLOPS를 거의 반으로 줄이고, 단지 4200만 개의 파라미터를 사용한다.
• 동적 전용 변형(H(5)-D-R3)은 1000만 개의 파라미터로 93.5%의 정확도를 달성하며, ResNet-110보다 3배 빠르다.
• 더 효율적인 구성인 H(5)-D-R4는 단지 367만 개의 파라미터로 93.5%의 정확도를 달성하고, 더 큰 모델과 거의 동일한 속도를 기록한다.
• LeNet 아키텍처에서는 SplineNets가 기준 모델보다 15배 빠르고 거의 5배 작으며, 정확도는 동일하거나 초월한다.
• 확장된 MNIST에서는 H-SN(4)가 225만 개의 파라미터로 99.71%의 정확도를 달성하여 LeNet-32(99.60%)를 뛰어넘고, 훨씬 적은 파라미터로 CapsuleNets(99.75%)에 가까운 성능을 내며 뛰어난 효율성을 보였다.
• 결합점 수를 2개에서 5개로 늘일 경우 FLOPS 당 샘플에 대한 영향은 거의 없이 정확도가 크게 향상되어 확장성과 효율성을 입증했다.