[논문 리뷰] PolyNet: A Pursuit of Structural Diversity in Very Deep Networks

Xingcheng Zhang, Zhizhong Li외 2명|arXiv (Cornell University)|2016. 11. 17.

Advanced Neural Network Applications참고 문헌 26인용 수 38

한 줄 요약

이 논문은 깊이 또는 너비를 단순히 늘리는 것 외에도 구조적 다양성을 통해 딥 네트워크 성능을 향상시키는 새로운 유형의 구조 모듈인 PolyInception을 소개한다. 병렬 또는 계층적 구성 방식으로 여러 Inception 유사 경로를 통합함으로써 PolyInception은 표현력 있는 표현을 가능하게 하면서도 계산 효율성을 유지한다. 결과적으로 Very Deep PolyNet은 동일한 계산 예산 하에 ImageNet ILSVRC 2012에서 단일 코너 검증 오차 4.25%와 다중 코너 검증 오차 3.45%를 기록하여, Inception-ResNet-v2와 더 깊은 ResNet 변종을 능가하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

A number of studies have shown that increasing the depth or width of convolutional networks is a rewarding approach to improve the performance of image recognition. In our study, however, we observed difficulties along both directions. On one hand, the pursuit for very deep networks is met with a diminishing return and increased training difficulty; on the other hand, widening a network would result in a quadratic growth in both computational cost and memory demand. These difficulties motivate us to explore structural diversity in designing deep networks, a new dimension beyond just depth and width. Specifically, we present a new family of modules, namely the PolyInception, which can be flexibly inserted in isolation or in a composition as replacements of different parts of a network. Choosing PolyInception modules with the guidance of architectural efficiency can improve the expressive power while preserving comparable computational cost. The Very Deep PolyNet, designed following this direction, demonstrates substantial improvements over the state-of-the-art on the ILSVRC 2012 benchmark. Compared to Inception-ResNet-v2, it reduces the top-5 validation error on single crops from 4.9% to 4.25%, and that on multi-crops from 3.7% to 3.45%.

연구 동기 및 목표

• 깊이와 너비를 초월하여 딥 네트워크 설계의 새로운 차원으로서 구조적 다양성을 탐구하기 위해.
• 깊이 또는 너비를 늘릴수록 성능 향상의 감소와 제곱형 계산 증가 문제를 해결하기 위해.
• 표현 능력을 향상시키되 비례하는 비용 증가 없이도 작동하는 새로운 모듈형 빌딩 블록의 가족을 개발하기 위해.
• ImageNet ILSVRC 2012에서 최신 기술 수준의 성능을 달성하는 매우 깊은 네트워크 아키텍처—Very Deep PolyNet—을 설계하기 위해.

제안 방법

• PolyInception 모듈을 다항식 조합 형태의 Inception 유닛으로 제안하며, 병렬 또는 계층적 구성 방식으로 여러 경로를 통합한다.
• 기존 네트워크 구성 요소에 대체하거나 삽입할 수 있도록 유연한 빌딩 블록으로 설계된 PolyInception 모듈을 개발한다.
• 다양한 네트워크 단계에서 최적의 PolyInception 구성 선택을 유도하기 위해 아키텍처 효율성 지표를 활용한다.
• 매우 깊은 PolyNet 아키텍처에서 과적합을 완화하기 위해 적응형 스토하스틱 디pth 정규화를 적용한다.
• 세 단계로 구성된 Very Deep PolyNet을 구축하며, 각 단계는 서로 다른 공간 해상도에서 작동하고, 각각 신중하게 선택된 PolyInception 모듈을 사용한다.
• 다양한 계산 제약 조건 하에서 다양한 모듈 구성에 대한 성능 및 비용을 비교하기 위해 체계적인 아블레이션 연구를 수행한다.

실험 결과

연구 질문

• RQ1 네트워크 아키텍처의 구조적 다양성이 깊이나 너비를 늘리는 것보다 더 나은 성능을 낼 수 있는가?
• RQ2 딥 네트워크에 구조적 다양성을 최적의 방식으로 통합하면 성능 향상을 극대화할 수 있는가?
• RQ3 계산 예산이 제한된 조건에서 구조적 다양성은 깊이와 비교해 어떻게 스케일링되는가?
• RQ4 매우 깊은 네트워크에서 깊이만 증가시키는 것보다 구조적 다양성이 더 큰 성능 향상을 제공하는가?
• RQ5 PolyInception과 같은 모듈식이고 재사용 가능한 구성 요소를 사용하여 더 효율적이고 정확한 딥 네트워크를 설계할 수 있는가?

주요 결과

• Very Deep PolyNet은 ImageNet ILSVRC 2012의 단일 코너 검증에서 top-5 검증 오차 4.25%를 기록하여, Inception-ResNet-v2의 4.9%보다 뚜렷한 향상을 이룬다.
• 다중 코너 평가에서 Very Deep PolyNet은 top-5 오차를 3.45%로 줄였으며, Inception-ResNet-v2의 3.7%를 능가한다.
• 더 깊은 Inception-ResNet-v2 변종(133M 파라미터)보다 성능이 뛰어나면서도 파라미터 수를 더 적게(92M) 사용하고, 동일한 계산 예산을 유지한다.
• 깊이만 증가시키는 것보다 구조적 다양성이 더 효과적으로 스케일링되며, 특히 4000 ms/iter를 초과하는 범위에서는 깊이 증가보다 더 큰 성능 향상을 제공한다.
• Figure 11의 성능 곡선에서 보듯이, PolyInception 모듈은 매우 깊은 네트워크에서도 상당한 성능 향상을 이끌어낸다.
• 아블레이션 연구 결과, 동일한 계산 예산 하에서 Inception 블록을 포함한 아키텍처가 일반적으로 표준 ResNet 아키텍처보다 성능가 뛰어나며, 이는 구조적 다양성의 가치를 뒷받침한다.