[논문 리뷰] Resnet in Resnet: Generalizing Residual Architectures

Sasha Targ, Diogo Almeida외 1명|arXiv (Cornell University)|2016. 03. 25.

Advanced Neural Network Applications참고 문헌 15인용 수 656

한 줄 요약

RiR는 병렬 잔차 스트림과 일시적 스트림을 포함하는 일반화된 잔차 블록을 도입하여 ResNet보다 성능을 개선하고 CIFAR-100에서 최첨단 성능을 달성합니다. 추가 계산 비용 없이 CNN과 ResNet을 일반화합니다.

ABSTRACT

Residual networks (ResNets) have recently achieved state-of-the-art on challenging computer vision tasks. We introduce Resnet in Resnet (RiR): a deep dual-stream architecture that generalizes ResNets and standard CNNs and is easily implemented with no computational overhead. RiR consistently improves performance over ResNets, outperforms architectures with similar amounts of augmentation on CIFAR-10, and establishes a new state-of-the-art on CIFAR-100.

연구 동기 및 목표

• 이전 표현으로부터 정보를 버릴 수 있도록 하여 잔차 네트워크의 개선을 자극한다.
• 잔차 블록을 일반화하여 잔차 스트림과 비잔차(일시적) 스트림을 병렬로 결합한다.
• RiR로 구현된 일반화된 잔차 아키텍처가 CIFAR 데이터셋에서 표준 ResNet보다 더 나은 성능을 낸다는 것을 보여준다.
• ResNet Init가 매개변수를 추가하지 않고 일반화된 잔차 블록의 효과적인 구현을 가능하게 한다는 것을 보여준다.
• 깊이에 대한 강건성과 이중 스트림 처리가 잔차 표현 학습에 미치는 영향을 탐구한다.

제안 방법

• 항등 단축 경로를 가진 잔차 스트림(r)과 표준 컨볼루션 처리로 이루어진 일시적 스트림(t) 두 개의 병렬 스트림을 갖는 일반화된 잔차 블록을 정의한다.
• 교차 스트림 컨볼루션 W_{l,r→t}, W_{l,t→r}를 도입하고 r과 t를 공유 활성화, 배치 정규화, ReLU을 통해 결합한다 (Equation 1).
• 스트림을 연결하고 분리된 선형 작용과 정확히 등가하도록 수정된 초기화(ResNet Init)를 통해 일반화된 블록을 구현한다 (Equation 2).
• ResNet 블록의 각 컨볼루션을 일반화된 잔차 블록으로 대체하여 RiR을 구성하고, 잔차 스트림으로 다시 더하기 전에 가변적인 유효 처리 깊이를 가능하게 한다.
• 학습률 스케줄, 초기화, 옵티마이저, L2를 포함하는 그리드 검색으로 튜닝된 하이퍼파라미터와 표준 증강을 사용하여 CIFAR-10/100에서 아키텍처를 비교한다.
• 다양한 블록 깊이와 구성에서 평가하여 깊이 강건성 및 각 스트림의 기여를 평가한다.

실험 결과

연구 질문

• RQ1 이중 스트림을 갖춘 일반화된 잔차 블록이 표준 ResNet 블록보다 표현력과 최적화를 향상시키는가?
• RQ2 RiR이 CIFAR-10 및 CIFAR-100에서 ResNet 및 ResNet Init를 능가할 수 있는가, 더 깊거나 더 넓은 구성을 포함하여?
• RQ3 잔차 스트림과 일시적 스트림 간 정보 분포가 학습 및 최종 정확도에 어떤 영향을 미치는가?
• RQ4 ResNet Init이 매개변수를 증가시키지 않고 일반화된 잔차 블록을 구현하는 실용적이고 효과적인 방법인가?
• RQ5 깊이와 블록 구조가 전통적 ResNet과 비교하여 RiR의 성능에 어떤 영향을 미치는가?

주요 결과

• RiR은 CIFAR-10 및 CIFAR-100 실험에서 원래의 ResNet을 능가한다.
• ResNet Init은 표준 CNN 베이스라인 및 ResNet 변형보다 일관되게 향상된다.
• RiR은 CIFAR-100에서 최첨단 결과를 달성하고 CIFAR-10에서도 표준 증강으로 경쟁력 있는 성능을 보인다.
• 잔차 스트림과 일시적 스트림 모두 정확도에 기여하며, 이들의 상대적 사용은 처리 단계에 따라 달라진다.
• RiR은 표준 ResNet보다 더 깊은 잔차를 더 효과적으로 학습하게 하여 깊이에 대한 강건성이 증가했음을 시사한다.