[논문 리뷰] Boosting Dilated Convolutional Networks with Mixed Tensor Decompositions

Nadav Cohen, Ronen Tamari외 1명|arXiv (Cornell University)|2017. 03. 20.

Tensor decomposition and applications참고 문헌 21인용 수 5

한 줄 요약

이 논문은 확장 컨벌루션 신경망의 표현적 효율성을 향상시키기 위해 혼합 텐서 분해를 도입한다. 중간 레이어 간의 전략적 연결이 모델 크기를 거의 제곱근 수준으로 감소시키는 표현적 효율성을 제공함을 보여준다. 실험 결과는 이러한 연결 기반 효율성이 깊이 증가와 유사하게 정확도 향상을 이끌어낸다.

ABSTRACT

The driving force behind deep networks is their ability to compactly represent rich classes of functions. The primary notion for formally reasoning about this phenomenon is expressive efficiency, which refers to a situation where one network must grow unfeasibly large in order to realize (or approximate) functions of another. To date, expressive efficiency analyses focused on the architectural feature of depth, showing that deep networks are representationally superior to shallow ones. In this paper we study the expressive efficiency brought forth by connectivity, motivated by the observation that modern networks interconnect their layers in elaborate ways. We focus on dilated convolutional networks, a family of deep models delivering state of the art performance in sequence processing tasks. By introducing and analyzing the concept of mixed tensor decompositions, we prove that interconnecting dilated convolutional networks can lead to expressive efficiency. In particular, we show that even a single connection between intermediate layers can already lead to an almost quadratic gap, which in large-scale settings typically makes the difference between a model that is practical and one that is not. Empirical evaluation demonstrates how the expressive efficiency of connectivity, similarly to that of depth, translates into gains in accuracy. This leads us to believe that expressive efficiency may serve a key role in the development of new tools for deep network design.

연구 동기 및 목표

• 확장 컨벌루션 신경망에서 중간 레이어를 상호 연결함으로써 깊이를 초월한 표현적 효율성이 달성될 수 있는지 조사하기.
• 네트워크 연결성의 맥락에서 혼합 텐서 분해의 개념을 수학적으로 정의하고 분석하기.
• 연결성에 기반한 표현적 효율성이 순차 모델링에서 실제 성능 향상으로 어떻게 이어지는지 평가하기.
• 깊이에 의해 전통적으로 기대되는 표현적 효율성 이점과 비교해 연결성이 동일하거나 이를 초월할 수 있는지 탐색하기.

제안 방법

• 확장 컨벌루션 신경망의 레이어 간 연결성을 분석하고 활용하기 위한 수학적 프레임워크로 혼합 텐서 분해를 도입하기.
• 깊이 기반 효율성과 유사하게, 연결성에 의한 모델 크기 감소를 통해 표현적 효율성을 수학적으로 정의하기.
• 단일 레이어 간 연결이 표현적 효율성에 미치는 영향을 분석하여, 필요한 모델 크기가 거의 제곱근 수준으로 감소함을 보여주기.
• 통제된 연결 패턴을 가진 확장 컨벌루션 신경망을 설계하고 학습시켜 이론적 주장의 실증적 검증 수행하기.
• 텐서 분해 기법을 사용하여 확장 컨벌루션의 가중치 텐서를 표현하고 압축함으로써 레이어 간 효율적인 파rameter 공유 구현하기.
• 중간 연결 여부에 따라 모델을 비교함으로써 연결성이 표현적 효율성에 기여하는 정도를 분리 분석하기.

실험 결과

연구 질문

• RQ1 확장 컨벌루션 신경망에서 중간 레이어를 상호 연결함으로써 표현적 효율성을 달성할 수 있는가?
• RQ2 깊이에서 기인하는 표현적 효율성과 비교해 연결성에 기반한 표현적 효율성은 어떻게 다른가?
• RQ3 단일 레이어 간 연결이 모델 크기와 성능에 미치는 정량적 영향은 무엇인가?
• RQ4 연결성에서 기인하는 표현적 효율성이 정확도 향상으로 얼마나 잘 이어지는가?

주요 결과

• 확장 컨벌루션 신경망에서 단일 레이어 간 연결만으로도 모델 크기가 거의 제곱근 수준으로 감소하여 뚜렷한 표현적 효율성을 보여준다.
• 이론적 분석을 통해 혼합 텐서 분해가 전략적 연결을 통해 복잡한 함수의 압축 표현을 가능하게 함을 밝혀냈다.
• 실험 결과는 연결성 기반 표현적 효율성이 테스트 정확도 향상으로 이어지며, 깊이 증가로 인한 성능 향상과 유사한 결과를 보였다.
• 제안된 방법은 이전에는 실현 불가능할 정도로 큰 네트워크가 요구되는 상황에서도 실용적인 모델 크기를 가능하게 한다.