[논문 리뷰] Second-order Convolutional Neural Networks

Kaicheng Yu, Mathieu Salzmann|arXiv (Cornell University)|2017. 03. 20.

Advanced Neural Network Applications참고 문헌 19인용 수 35

한 줄 요약

이 논문은 표준 완전 연결 계층을 대체하기 위해 새로운 공분산 서술자 유닛(CDU)을 도입한 이阶 컨볼루션 신경망(SO-CNNs)을 제안한다. CDU는 컨볼루션 특징에서 이阶 통계(공분산 행렬)를 추출하고 변환한다. 이 방법은 첫째, 이阶 CNN 및 이전의 이阶 방법보다 우수한 성능을 내며, 첫째 CNN에 비해 최대 90% 적은 파라미터를 사용한다.

ABSTRACT

Convolutional Neural Networks (CNNs) have been successfully applied to many computer vision tasks, such as image classification. By performing linear combinations and element-wise nonlinear operations, these networks can be thought of as extracting solely first-order information from an input image. In the past, however, second-order statistics computed from handcrafted features, e.g., covariances, have proven highly effective in diverse recognition tasks. In this paper, we introduce a novel class of CNNs that exploit second-order statistics. To this end, we design a series of new layers that (i) extract a covariance matrix from convolutional activations, (ii) compute a parametric, second-order transformation of a matrix, and (iii) perform a parametric vectorization of a matrix. These operations can be assembled to form a Covariance Descriptor Unit (CDU), which replaces the fully-connected layers of standard CNNs. Our experiments demonstrate the benefits of our new architecture, which outperform the first-order CNNs, while relying on up to 90% fewer parameters.

연구 동기 및 목표

• 이미지에서 첫째 통계만 추출하는 표준 CNN의 한계를 해결하기 위해, 인간의 시각 인식에 핵심적인 역할을 하는 이阶 통계(예: 공분산)의 중요성을 고려한다.
• 전통적인 영역 공분산 서술자(RCDs)에서 사용되는 수작업 특징의 제한을 극복하고, 이阶 통계를 엔드 투 엔드 학습에 통합하는 딥 러닝 프레임워크를 개발한다.
• 신경망 내부에서 공분산 행렬을 계산하고 변환할 수 있는 새로운 미분 가능한 레이어를 설계하여, 이阶 연산을 통해 역전파가 가능하게 한다.
• CIFAR-10 및 MINC2500과 같은 표준 벤치마크에서 SO-CNN이 첫째 CNN 및 기존의 이阶 기반 모델보다 우수한 성능을 내는지 입증한다.
• 대규모 완전 연결 계층을 대체하여 매트릭스 수준의 표현을 활용하는 작고 학습 가능한 CDUs를 도입함으로써, 효율적이고 파라미터 효율적인 시각 인식을 가능하게 한다.

제안 방법

• 컨볼루션 레이어의 특징 맵에서 공분산 행렬을 계산하는 새로운 레이어를 제안하여 채널 간의 이阶 통계적 관계를 캡처한다.
• 학습 가능한 선형 변환을 적용하여 공분산 행렬을 변형하는 파arametric 이阶 전환 레이어를 도입함으로써, 네트워크가 의미 있는 이阶 표현을 학습할 수 있도록 한다.
• 공분산 행렬을 벡터로 변환하는 파arametric 벡터라이제이션 레이어를 설계하여, 표준 완전 연결 레이어 또는 분류 헤드와의 호환성을 확보한다.
• 이 세 가지 레이어를 조합하여 완전 연결 레이어를 대체하는 공분산 서술자 유닛(CDU)을 구성하며, 엔드 투 엔드 학습을 가능하게 한다.
• 고차원 특징 맵을 다루기 위해 강력한 공분산 추정 및 다중 CDUs를 활용하여 안정성과 성능을 향상시킨다.
• 서술자 공간(D-), 즉 서술자 수준에서의 병합(연결 또는 평균)을 통해 다중 CDUs를 융합하며, 벡터 수준 융합(V-)보다 서술자 수준 융합이 더 우수한 성능을 낸다.

실험 결과

연구 질문

• RQ1 딥 네트워크에서 이阶 통계의 엔드 투 엔드 학습이 첫째 CNN에 비해 시각 인식 작업 성능을 향상시키는가?
• RQ2 학습 가능한 이阶 연산(예: 공분산 행렬의 파arametric 변환)이 수작업 또는 고정된 이阶 특징보다 우수한가?
• RQ3 완전 연결 레이어를 CDUs로 대체함으로써 모델 파라미터 수를 줄일 수 있는가, 동시에 정확도를 유지하거나 향상시킬 수 있는가?
• RQ4 다양한 CDU 융합 전략(예: 합산, 평균, 연결)이 최종 성능에 어떤 영향을 미치는가?
• RQ5 SO-CNN은 VGG16, ResNet, FitNet 등의 다양한 백본 아키텍처에 일반화 가능한가?

주요 결과

• CIFAR-10 데이터셋에서 제안된 SO-CNN은 첫째 VGG16에 비해 5.74%p 높은 정확도(77.88% 대 72.14%)를 기록했으며, 파라미터 수는 1521만 개로 93.6% 감소했다.
• MINC2500 데이터셋에서 SO-VGG16는 77.88%의 정확도를 기록하여, 첫째 VGG16(72.14%)와 이阶 기반 모델인 SPD-net(43.90%)를 크게 앞섰다.
• SO-ResNet50 모델은 80.45%의 정확도를 달성하여, 첫째 ResNet50(80.10%)를 略로 초월했고, MatBP 기반 모델(55.35%)에 비해 뚜렷한 성능 향상을 보였다.
• D-concat 융합을 사용한 다중 CDUs(예: 2× CDU)는 강력한 공분산 추정 또는 단일 CDU보다 더 높은 성능을 내며, 두 개 이상의 CDU를 초과하면 수익 감소 현상이 나타난다.
• 첫째 CNN에 비해 최대 90%의 파라미터 감소를 기록하여, 강력한 파라미터 효율성을 입증했다.
• 제거 분석 결과, 성능 향상은 아키텍처 수정이 아닌 이阶 통계 덕분임을 확인했으며, 첫째 모델에 1×1 컨볼루션을 추가하면 정확도가 떨어졌다.