[논문 리뷰] Convolutional Neural Fabrics

Shreyas Saxena, Jakob Verbeek|arXiv (Cornell University)|2016. 06. 08.

Advanced Neural Network Applications참고 문헌 31인용 수 65

한 줄 요약

이 논문은 깊이, 스케일, 채널 전반에 걸쳐 희박하고 국소적인 연결성을 통해 지수적으로 많은 CNN 아키텍처를 내장하는 3차원 트렐리스 구조인 컨volution 네트워크 패브릭(CNF)을 소개한다. 역전파를 통해 단일 패브릭을 훈련시킴으로써, 모든 내장된 아키텍처에 대한 효율적인 동시 학습 및 앙상블을 가능하게 하여, MNIST, CIFAR10, Part Labels에서 최신 기술 수준의 성능을 달성한다. 사용하는 하이퍼파rameter는 깊이와 채널 수뿐이며 총 두 개 뿐이다.

ABSTRACT

Despite the success of CNNs, selecting the optimal architecture for a given task remains an open problem. Instead of aiming to select a single optimal architecture, we propose a "fabric" that embeds an exponentially large number of architectures. The fabric consists of a 3D trellis that connects response maps at different layers, scales, and channels with a sparse homogeneous local connectivity pattern. The only hyper-parameters of a fabric are the number of channels and layers. While individual architectures can be recovered as paths, the fabric can in addition ensemble all embedded architectures together, sharing their weights where their paths overlap. Parameters can be learned using standard methods based on back-propagation, at a cost that scales linearly in the fabric size. We present benchmark results competitive with the state of the art for image classification on MNIST and CIFAR10, and for semantic segmentation on the Part Labels dataset.

연구 동기 및 목표

• 최적의 성능을 얻기 위해 지수적으로 증가하는 CNN 아키텍처의 공간을 수작업으로 탐색하는 도전에 대응하기 위해.
• 히우리스틱 또는 탐색 기반 방법을 사용해 개별 아키텍처를 하나씩 훈련하고 평가하는 데서의 필요성을 제거하기 위해.
• 단일 통합 네트워크 구조 내에서 수많은 아키텍처 간 효율적인 가중치 공유 및 모델 앙상블을 가능하게 하기 위해.
• 이식 가능하고 다중 스케일인 아키텍처를 제공하여, 세그멘테이션 및 객체 탐지와 같은 작업에서 다중 해상도 출력을 자연스럽게 지원하기 위해.

제안 방법

• 층, 공간적 스케일, 채널 전반에 걸쳐 희박하고 동일한 국소 연결성을 갖춘 3차원 트렐리스를 특징 맵으로 구성하기.
• 각 활성화를 이전 층의 국소 주변부(공간, 스케일, 채널 차원 포함)의 비선형 함수로 정의하기.
• 깊이 수와 채널 수를 유일한 주요 하이퍼파rameter로 사용하며, 밀집 연결 또는 스케일 간 채널 두배 증가를 허용하는 변형도 제공하기.
• 비활성 연결을 0으로 설정함으로써, 어떤 체인 구조 CNN도 패브릭 내 경로로 복원 가능하게 하기.
• 겹치는 경로를 통해 가중치를 공유함으로써 다수의 아키텍처를 앙성화하는 일반적인 가중치 구성 허용하기.
• 패브릭 크기와 선형 비례하는 복잡도로 표준 역전파를 사용해 전체 패브릭을 훈련함으로써, 내장된 모든 아키텍처에 대한 효율적 최적화 가능하게 하기.

실험 결과

연구 질문

• RQ1 단일 통합 신경망 아키텍처가 지수적으로 많은 서로 다른 CNN 아키텍처를 내장하고 이를 효율적으로 훈련시킬 수 있는가?
• RQ2 아키텍처 탐색 또는 하이퍼파rameter 튜닝 없이 패브릭 기반 접근이 수작업으로 설계된 CNN을 얼마나 뛰어나게 성능을 낼 수 있는가?
• RQ3 패브릭 내에서 여러 아키텍처 간 가중치 공유가 이미지 분류 및 세그멘테이션 작업의 일반화 및 성능에 어떤 영향을 미치는가?
• RQ4 패브릭 아키텍처는 아키텍처 분기 없이도 자연스럽게 다중 스케일 특징 학습 및 다중 해상도 출력을 지원할 수 있는가?

주요 결과

• CNF-dense 변형은 데이터 증강을 사용하여 MNIST에서 테스트 오차 0.33%를 기록했으며, 530만 파라미터로 최신 기술 수준의 결과를 달성하거나 초월했다.
• CIFAR10에서 CNF-dense 모델은 데이터 증강을 사용해 7.43%의 오차를 기록했으며, 여러 이전 방법을 뛰어넘었고, 최신 기술 수준의 5.84%에 매우 가까워졌다.
• CIFAR10에서의 CNF-sparse 변형은 18.89%의 오차를 기록했으며, 이는 희박성이 강화된 정규화 또는 최적화 없이 성능 제한을 초래할 수 있음을 시사한다.
• CIFAR10 모델에서 67%의 연결을 제거해도 오차는 7.4%에서 8.1%로 뿐만 아니라 증가했으며, 이는 강건성과 컴팩트한 하위망의 잠재력을 보여준다.
• 학습된 패브릭의 시각화 결과에서 신호 전파 패턴이 뚜렷하게 드러났다: 세그멘테이션 모델은 다중 스케일 특징을 조기에 분포시켰고, 분류 모델은 점진적인 다운샘플링을 사용했다.
• 채널 두배 증가 변형은 메모리의 50% 증가로 최대 10배의 채널 수를 확보했으며, 용량 대 메모리 비율 측면에서 유리한 성능을 보였다.