[논문 리뷰] Modularized Morphing of Neural Networks

Tao Wei, Changhu Wang외 1명|arXiv (Cornell University)|2017. 01. 12.

Advanced Memory and Neural Computing참고 문헌 11인용 수 12

한 줄 요약

이 논문은 방향 비순환 그래프(DAG) 추상화를 통해 모듈의 그래프 변환 문제로 형태 전환을 공식화함으로써, 단일 합성곱층이 임의의 신경망 모듈로 체계적으로 변형될 수 있도록 하는 모듈화된 네트워크 형태 전환 프레임워크를 제안한다. 이 방법은 단순 및 복잡한 모듈을 모두 다룰 수 있도록 두 가지 원자 형태 전환 연산을 도입하여, 단지 1.2배의 계산 비용으로 ResNet에 비해 최대 25%의 상대 정확도 향상을 달성하며, 지식을 유지하는 아키텍처 진화를 통해 뚜렷한 성능 향상을 입증한다.

ABSTRACT

In this work we study the problem of network morphism, an effective learning scheme to morph a well-trained neural network to a new one with the network function completely preserved. Different from existing work where basic morphing types on the layer level were addressed, we target at the central problem of network morphism at a higher level, i.e., how a convolutional layer can be morphed into an arbitrary module of a neural network. To simplify the representation of a network, we abstract a module as a graph with blobs as vertices and convolutional layers as edges, based on which the morphing process is able to be formulated as a graph transformation problem. Two atomic morphing operations are introduced to compose the graphs, based on which modules are classified into two families, i.e., simple morphable modules and complex modules. We present practical morphing solutions for both of these two families, and prove that any reasonable module can be morphed from a single convolutional layer. Extensive experiments have been conducted based on the state-of-the-art ResNet on benchmark datasets, and the effectiveness of the proposed solution has been verified.

연구 동기 및 목표

• 기존의 네트워크 형태 전환 방법이 계층 수준에서만 작동하여 깊은 네트워크에 대해 금방이 되는 형태 전환 공간을 초래하는 한계를 해결하기 위해.
• 단일 합성곱층이 임의의 신경망 모듈로 형태 전환될 수 있는지 여부와 그 방법을 탐구하여, 모듈 수준의 형태 전환에 대한 이론적 및 실용적 기반을 마련하기 위해.
• 현대의 모듈형 아키텍처인 ResNet과 같은 구조에 적용 가능한 통합적이고 일반화된 형태 전환 솔루션을 개발하여, 효율적인 아키텍처 탐색과 성능 향상을 가능하게 하기 위해.
• 모듈을 단순 및 복잡한 가족으로 분류하고, 각각에 맞는 맞춤형 형태 전환 알고리즘을 제공함으로써, 합리적인 모든 모듈로의 형태 전환 가능성을 보장하기 위해.

제안 방법

• 데이터 블롭은 정점이고 합성곱층은 간선인 방향 비순환 그래프(DAG)로 신경망 모듈을 추상화하여, 네트워크 구조의 그래프 기반 표현을 가능하게 한다.
• 그래프 표현의 변형을 위한 기본 빌딩 블록으로, 분할(split)과 병합(merge)이라는 두 가지 원자 형태 전환 연산을 도입한다.
• 모듈을 두 가족으로 분류한다: 단순 형태 전환 가능한 모듈(원자 형태 전환 연산을 통해 직접 형태 전환 가능한 모듈)과 복잡한 모듈(형태 전환 전에 기저 형태로 축소이행이 필요한 모듈).
• 복잡한 모듈을 기저 형태로 단순화하는 데 사용되는 축소 알고리즘을 제안하고, 기저 성분에 대해 네트워크 형태 전환 방정식을 해결함으로써 형태 전환을 가능하게 한다.
• 그래프 추상화에서 차원 호환성 문제를 해결하기 위해 블롭과 필터 차원을 무한대로 확장하여 수렴성과 이론적 타당성을 보장한다.
• 형태 전환 기법을 최신의 ResNet 아키텍처에 적용하여, 최소한의 계산 오버헤드로 성능 향상을 달성하고, 계속된 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 네트워크 기능을 유지하면서 단일 합성곱층이 임의의 신경망 모듈로 형태 전환될 수 있는가?
• RQ2 계층 수준이 아닌 모듈 수준에서 형태 전환을 가능하게 하기 위해 필요한 기본 연산은 무엇인가?
• RQ3 형태 전환를 단순 및 복잡한 신경망 모듈 모두에 대해 어떻게 체계적으로 일반화할 수 있는가?
• RQ4 아키텍처의 유연성과 성능 향상 측면에서 형태 전환 능력의 이론적 상한은 무엇인가?
• RQ5 이 형태 전환 기법은 ResNet과 같은 현대의 모듈형 네트워크에 실용적으로 적용되어 최소한의 계산 비용으로 뚜렷한 성능 향상을 달성할 수 있는가?

주요 결과

• 형태 전환된 20층 네트워크는 CIFAR-10에서 6.60%의 상위-1 오차율을 기록하여, 계산 비용이 약 1/5에 불과한 110층 ResNet(6.61%)를 능가했다.
• 형태 전환된 56층 네트워크는 CIFAR-10에서 5.37%의 오차율을 기록하여, ResNet-110(6.61%)과 ResNet-164(5.46%)를 모두 뛰어넘었다.
• CIFAR-100에서 형태 전환된 56층 네트워크는 27.52%의 오차율을 기록하여, 계산 비용이 약 절반인 110층 ResNet(28.46%)를 능가했다.
• ImageNet에서 형태 전환된 18층 네트워크(morph18_1c1)는 1-뷰 기준으로 31.69%의 상위-1 오차율을 기록하여 ResNet-18보다 0.87%p의 절대 성능 향상을 달성했고, FLOP는 1.06배에 불과했다.
• 형태 전환된 34층 네트워크(morph34_1c1)는 1-뷰 기준으로 27.90%의 상위-1 오차율을 기록하여 ResNet-34보다 1.18%p의 절대 성능 향상을 달성했고, FLOP는 1.08배였다.
• 형태 전환 기법은 morph110_1c1 아키텍처에서 초기 학습부터의 훈련 대비 최대 32.6%의 상대적 성능 향상을 달성하여, 정규화 효과와 낮은 국소 최적점에 대한 위험 감소를 입증했다.