[논문 리뷰] Deep Convolutional Neural Networks with Merge-and-Run Mappings

Li-Ming Zhao, Jingdong Wang외 3명|arXiv (Cornell University)|2016. 11. 23.

Advanced Neural Network Applications참고 문헌 38인용 수 34

한 줄 요약

이 논문은 잔차 브랜치를 병렬화하여 병합-실행 매핑을 사용하는 새로운 아키텍처인 딥 병합-실행 신경망(DMRNet)을 제안한다: 입력을 평균내는(병합) 과정과 각 브랜치의 출력에 평균을 더하는(실행) 과정이다. 이 방법은 네트워크 깊이를 감소시키고 선형 등幂 변환을 통해 정보 흐름을 향상시키며, 파arameter 수가 유사한 ResNet을 능가하는 최신 기술 수준의 성능을 달성한다. 특히 CIFAR-10에서 3.57%의 테스트 오차와 SVHN에서 1.51%의 테스트 오차를 기록한다.

ABSTRACT

A deep residual network, built by stacking a sequence of residual blocks, is easy to train, because identity mappings skip residual branches and thus improve information flow. To further reduce the training difficulty, we present a simple network architecture, deep merge-and-run neural networks. The novelty lies in a modularized building block, merge-and-run block, which assembles residual branches in parallel through a merge-and-run mapping: Average the inputs of these residual branches (Merge), and add the average to the output of each residual branch as the input of the subsequent residual branch (Run), respectively. We show that the merge-and-run mapping is a linear idempotent function in which the transformation matrix is idempotent, and thus improves information flow, making training easy. In comparison to residual networks, our networks enjoy compelling advantages: they contain much shorter paths, and the width, i.e., the number of channels, is increased. We evaluate the performance on the standard recognition tasks. Our approach demonstrates consistent improvements over ResNets with the comparable setup, and achieves competitive results (e.g., $3.57\%$ testing error on CIFAR-$10$, $19.00\%$ on CIFAR-$100$, $1.51\%$ on SVHN).

연구 동기 및 목표

• 깊은 네트워크에서 학습 곤란을 줄이기 위해 정보 흐름을 향상시키고 유효 경로를 단축시키는 것.
• 병렬로 구성된 잔차 브랜치를 처리하는 새로운 모듈식 빌딩 블록인 병합-실행 블록을 제안하여 넓이를 증가시키고 깊이를 감소시키는 것.
• 병합-실행 매핑이 선형 등幂 함수임을 입증하여 기울기 전파를 빠르게 하고 안정적인 학습을 가능하게 하는 것.
• 병합-실행 매핑을 통해 넓이를 증가시키는 것이 매우 깊은 네트워크에서 깊이를 증가시키는 것보다 더 효과적임을 검증하는 것.
• 병합-실행 매핑을 통한 잔차 브랜치 간 상호작용이 단순 스킵 연결을 넘어서 표현 학습을 향상시킴을 보여주는 것.

제안 방법

• 병합-실행 블록을 도입하여 다수의 잔차 브랜치를 두 단계의 매핑을 통해 병렬로 처리한다: 입력을 평균내는(병합) 과정과 각 브랜치의 출력에 평균을 더하는(실행) 과정.
• 병합-실행 매핑을 등幂 행렬을 갖는 선형 변환으로 모델링하여 반복 적용해도 출력이 변하지 않도록 하여 정보 흐름의 안정성을 확보한다.
• 변환 행렬이 등幂임(M² = M)을 도출하여 이론적으로 기울기 역전파가 빠르게 전파되고 기울기 소실 문제를 완화함을 보장한다.
• 다수의 병합-실행 블록을 스택하여 깊은 네트워크를 구성함으로써 순차적 잔차 블록에 비해 훨씬 짧은 유효 경로를 확보한다.
• 표준 벤치마크인 CIFAR-10, CIFAR-100, SVHN, ImageNet을 사용하여 제안된 방법을 ResNet 및 기타 변종과 실험적으로 비교한다.
• K-브랜치 구성으로의 확장을 위해 병합-실행 매핑을 1/K 스케일링이 적용된 K×K 블록 행렬로 일반화한다.

실험 결과

연구 질문

• RQ1 새로운 병합-실행 매핑을 통해 잔차 브랜치를 병렬로 조립하면 순차적 잔차 블록에 비해 학습 곤란을 줄이고 성능을 향상시킬 수 있는가?
• RQ2 병합-실행 매핑이 선형 등幂 함수로 간주될 경우, 깊은 네트워크에서 정보 및 기울기 흐름을 향상시킬 수 있는가?
• RQ3 병합-실행 매핑의 성능 향상 요인이 향상된 표현 학습인지, 정규화 효과인지 여부는 무엇인가?
• RQ4 병합-실행 매핑을 통한 넓이 증가가 깊이 증가 또는 Inception, DenseNet 등의 다른 넓이 증가 기법에 비해 어떻게 비교되는가?
• RQ5 병합-실행 매핑은 두 개 이상의 잔차 브랜치로 일반화될 수 있으며, 이러한 구성에서도 성능 향상이 유지되는가?

주요 결과

• 병합-실행 매핑은 선형 등幂 함수이며, 그 변환 행렬이 M² = M를 만족함으로써 안정적이고 효율적인 정보 및 기울기 흐름을 보장한다.
• DMRNet는 CIFAR-10에서 3.57%의 상위-1 테스트 오차를 기록하여 깊이가 동일한 ResNet-101(4.99%)을 능가하며, 이 설정에서 최신 기술 수준을 달성한다.
• CIFAR-100에서는 DMRNet가 19.00%의 상위-1 오차를 기록하여 ResNet-101(23.66%)을 초월하며, 다양한 깊이 설정에서 일관된 성능 향상을 보였다.
• SVHN에서는 DMRNet가 1.51%의 상위-1 오차를 기록하여 ResNet-101(2.37%)을 크게 능가하며 최신 기술 수준의 결과를 달성하거나 초월한다.
• 학습 및 검증 오차 곡선을 통해 DMRNet는 모든 에포크 동안 ResNet-101을 일관되게 능가함을 보여주며, 정규화 효과를 넘어서 보다 우수한 일반화 및 표현 학습 능력을 지닌다.
• 절단 실험 결과 병합-실행 매핑이 유도하는 상호작용이 유익함을 확인하였다. 동일한 아키텍처를 공유하더라도, DMRNet는 단순히 아이덴티티 매핑만 사용하는 유사한 네트워크보다 성능이 뛰어나다.