[논문 리뷰] Technical Report: Combining knowledge from Transfer Learning during training and Wide Resnets

Wolfgang Fuhl|arXiv (Cornell University)|2022. 06. 20.

Neural Networks and Applications인용 수 31

한 줄 요약

논문은 Wide ResNet 아키텍처를 transfer-learning에서 영감을 받은 깊이 정보와 결합하여 CNN 성능을 향상시키며, 마지막 계층에 깊이 풀이 연결을 도입하고 더 깊은 잔차 단계들을 도입한다.

ABSTRACT

In this report, we combine the idea of Wide ResNets and transfer learning to optimize the architecture of deep neural networks. The first improvement of the architecture is the use of all layers as information source for the last layer. This idea comes from transfer learning, which uses networks pre-trained on other data and extracts different levels of the network as input for the new task. The second improvement is the use of deeper layers instead of deeper sequences of blocks. This idea comes from Wide ResNets. Using both optimizations, both high data augmentation and standard data augmentation can produce better results for different models. Link: https://github.com/wolfgangfuhl/PublicationStuff/tree/master/TechnicalReport1/Supp

연구 동기 및 목표

• 네트워크의 모든 계층 정보를 최종 분류기로 활용하여 CNN 일반화 성능을 향상시키려는 동기를 부여한다.
• 정보를 보존하고 특징 전파를 개선하기 위해 Wide ResNet의 더 깊은 아키텍처 블록을 채택한다.
• 표준 벤치마크의 정확도를 높이기 위해 depthwise pooling과 스테이지당 증가된 깊이를 갖는 아키텍처를 제안한다.

제안 방법

• 각 잔차 블록 앞의 깊이에 따른 평균 풀링을 추가하여 공간 감소와 함께 마지막 층에 추가 정보원을 제공한다.
• 각 스테이지를 더 깊게 하되 블록 수는 줄여 잔차 블록을 재설계하고(ResNet32당 깊이 두 배), forward propagation에 depthwise pooling을 통합한다.
• ImageNet 스타일 입력과 유사한 초기 컨볼루션을 포함하고, 표준 ResNet32, 더 깊이 확장 모델들, 새로운 아키텍처(NewNet)를 제안된 정보 경로가 있는 경우와 없는 경우로 비교한다.
• 32x32 입력의 CIFAR-100에 대해 Shift+Flip 증강을 사용하고, 모멘텀을 가진 표준 SGD, 각 모델당 400 에포크로 평가한다.
• FastAutoAugment를 사용하는 Wide ResNet 28x10과 제안된 방법을 비교하여 증강이 정확도에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 모든 계층의 정보를 최종 분류기로 제공하는 것이 일반화 성능을 향상시키는가?
• RQ2 스테이지당 깊이를 증가시키는 것이(Wide ResNet 스타일) 제안된 정보 경로와 함께 더 나은 성능을 보이는가?
• RQ3 제안된 depthwise pooling 정보 경로가 서로 다른 아키텍처에서 CIFAR-100 정확도에 어떤 영향을 미치는가?

주요 결과

모델	증강 방법	Cifar 100 정확도
ResNet32	Shift + Flip	76.7
ResNet32 + Proposed	Shift + Flip	77.6
ResNet32 (Double depth)	Shift + Flip	76.9
ResNet32 (Double depth) + Proposed	Shift + Flip	78.11
NewNet (Figure 2 )	Shift + Flip	78.94
NewNet (Figure 2 , double depth)	Shift + Flip	79.67
WideResNet 28x10	FastAutoAugment	82.01
WideResNet 28x10 + Proposed	FastAutoAugment	83.52

• 제안된 정보 경로를 갖춘 ResNet32가 CIFAR-100에서 Shift+Flip으로 정확도 76.7에서 77.6으로 향상시킨다.
• 제안 경로를 갖춘 더 깊은 두 배 ResNet32가 78.11로 향상된다.
• 제안 경로를 갖춘 NewNet (Figure 2)가 79.67에 도달하여 표의 비-Wide 모델 중 최고를 기록한다.
• WideResNet 28x10가 FastAutoAugment로 82.01에 도달하고, 제안된 경로를 사용하면 83.52이다.
• 깊은 스테이지와 제안된 정보 소스의 조합이 테스트된 구성 중에서 최상의 결과를 낳는다.
• 보고서는 더 넓은 데이터 증강(FastAutoAugment)과 제안된 방법이 서로 다른 모델에서 도움이 된다고 지적한다.