[논문 리뷰] Decision Forests, Convolutional Networks and the Models in-Between

Yani Ioannou, Duncan Robertson외 5명|arXiv (Cornell University)|2016. 03. 03.

Adversarial Robustness in Machine Learning인용 수 34

한 줄 요약

이 논문은 조건부 계산을 통합한 표현 학습과 함께 决定나무와 합성곱 신경망을 융합하는 하이브리드 모델인 조건부 네트워크를 소개한다. 학습 가능한 데이터 라우터와 블록 대각 희소 가중치 행렬을 사용함으로써, 표준 CNN(예: NiN)에 비해 최대 5배 낮은 계산 비용과 6배 작은 모델 크기로 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

This paper investigates the connections between two state of the art classifiers: decision forests (DFs, including decision jungles) and convolutional neural networks (CNNs). Decision forests are computationally efficient thanks to their conditional computation property (computation is confined to only a small region of the tree, the nodes along a single branch). CNNs achieve state of the art accuracy, thanks to their representation learning capabilities. We present a systematic analysis of how to fuse conditional computation with representation learning and achieve a continuum of hybrid models with different ratios of accuracy vs. efficiency. We call this new family of hybrid models conditional networks. Conditional networks can be thought of as: i) decision trees augmented with data transformation operators, or ii) CNNs, with block-diagonal sparse weight matrices, and explicit data routing functions. Experimental validation is performed on the common task of image classification on both the CIFAR and Imagenet datasets. Compared to state of the art CNNs, our hybrid models yield the same accuracy with a fraction of the compute cost and much smaller number of parameters.

연구 동기 및 목표

• 결합 나무와 합성곱 신경망 간의 이론적이고 실용적인 연관성을 탐구한다.
• 결합 나무의 효율성과 CNN의 정확도를 융합한 새로운 유형의 하이브리드 모델을 개발한다.
• 정확도를 희생시키지 않고 추론 비용을 최적화하기 위해 동적이고 데이터 기반의 계산 라우팅을 가능하게 한다.
• 조건부 네트워크가 이미지 분류 작업에서 표준 CNN보다 정확도와 효율성 측면에서 뛰어나게 성능을 낼 수 있음을 입증한다.

제안 방법

• 학습 가능한 특성 변환을 갖춘 결합 나무 또는 블록 대각 희소 가중치 행렬과 명시적 라우팅 함수를 갖춘 CNN으로 볼 수 있는 통합 프레임워크로서 조건부 네트워크를 제안한다.
• 입력 콘텐츠에 따라 입력 데이터를 네트워크의 특정 브랜치로 동적으로 라우팅하는 학습 가능한 라우터를 활용하여 조건부 계산을 구현한다.
• 이산적 라우팅 결정에도 불구하고, 역전파를 통해 라우터와 CNN 구성 요소를 동시에 학습시켜 종단 간 미분 가능성을 확보한다.
• 정확도, 모델 크기, 추론 비용 간 균형을 고려해 조건부 네트워크 공간 내 최적 아키텍처를 탐색하기 위해 베이지안 최적화를 적용한다.
• 공유 라우터 구성 요소를 갖춘 여러 CNN(예: GoogLeNet)을 조합하여 조건부 앙상블을 구성함으로써, 입력에 따라 관련 라우트만 활성화되도록 한다.
• 활성화 상관관계의 재정렬 및 프루닝을 통해 구조적 희소성을 구현하여 블록 대각 패턴을 드러내어 효율적인 라우팅과 계산을 가능하게 한다.

실험 결과

연구 질문

• RQ1 결합 나무의 조건부 계산 특성을 CNN의 표현 학습과 어떻게 융합할 수 있는가?
• RQ2 결합 나무의 효율성과 CNN의 정확도를 모두 유산으로 이어가는 통합 딥러닝 아키텍처를 설계할 수 있는가?
• RQ3 학습 가능한 데이터 라우팅이 정확도를 감소시키지 않고 CNN 앙상블의 효율성을 얼마나 향상시킬 수 있는가?
• RQ4 하이브리드 아키텍처에서 모델 정확도, 추론 비용, 파라미터 수 사이의 상호 상관 관계는 어떠한가?
• RQ5 조건부 네트워크가 계산 및 메모리 요구량을 크게 줄이면서도 최신 기술 수준의 CNN과 유사한 성능을 달성할 수 있는가?

주요 결과

• 최적의 조건부 네트워크는 ImageNet에서 원본 NiN 모델과 거의 동일한 상위 5개 오차를 달성하지만, 추론 비용은 5배 낮고 모델 크기는 6배 작다.
• 베이지안 최적화를 통해 학습된 조건부 네트워크는 정확도-계산-크기 트레이드오프 공간에서 라우팅되지 않은 대안보다 일관되게 뛰어난 성능을 보이며, 최적점에 더 가까이 집중된다.
• GoogLeNet 모델의 조건부 앙상블은 10배 오버샘플링된 GoogLeNet과 동일한 정확도를 달성하지만, 계산 비용은 반 이하로 줄여 뛰어난 효율성을 입증한다.
• 학습된 라우터는 동적이고 입력 기반의 라우팅을 가능하게 하여, 재학습 없이도 테스트 시 가장 정확하고 효율적인 경로를 선택할 수 있다.
• 학습된 네트워크에서 활성화 상관관계의 블록 대각 구조는 구조적 희소성의 존재를 확인하며, 조건부 네트워크의 설계 원칙을 검증한다.
• 명시적 라우팅 함수가 존재함에도 불구하고 조건부 네트워크는 종단 간 미분 가능하며, 역전파를 통한 종단 간 학습이 가능하다.