[논문 리뷰] AugShuffleNet: Communicate More, Compute Less

Longqing Ye|arXiv (Cornell University)|2022. 03. 13.

Anomaly Detection Techniques and Applications인용 수 9

한 줄 요약

이 논문은 채널별 중복을 줄이고 정보 흐름을 향상시켜 효율성을 향상시키기 위해 ShuffleNetV2의 기존 셔플 블록을 베스트론처럼 개조된 셔플 블록으로 대체하는 AugShuffleNet을 제안한다. 이는 암묵적 단기 연결과 조절 가능한 채널 분할 비율을 특징으로 한다. 다양한 너비 배수에서 FLOPs와 파라미터 수가 적은데도 불구하고 CIFAR-10과 CIFAR-100에서 ShuffleNetV2보다 높은 정확도를 달성한다.

ABSTRACT

As a remarkable compact model, ShuffleNetV2 offers a good example to design efficient ConvNets but its limit is rarely noticed. In this paper, we rethink the design pattern of ShuffleNetV2 and find that the channel-wise redundancy problem still constrains the efficiency improvement of Shuffle block in the wider ShuffleNetV2. To resolve this issue, we propose another augmented variant of shuffle block in the form of bottleneck-like structure and more implicit short connections. To verify the effectiveness of this building block, we further build a more powerful and efficient model family, termed as AugShuffleNets. Evaluated on the CIFAR-10 and CIFAR-100 datasets, AugShuffleNet consistently outperforms ShuffleNetV2 in terms of accuracy with less computational cost and fewer parameter count.

연구 동기 및 목표

• 기존에 설계된 작고 효율적인 구조임에도 불구하고 여전히 지속되는 ShuffleNetV2의 셔플 블록 내 채널별 중복 문제를 해결하기 위해.
• 계산 비용을 증가시키지 않고도 교차 레이어 정보 흐름을 향상시킬 수 있는 더 유연하고 효율적인 빌딩 블록을 개발하기 위해.
• 높은 정확도를 유지하면서 FLOPs와 파라미터 수를 줄이는 새로운 컴팩트한 CNN 가문인 AugShuffleNet을 설계하기 위해.
• 표준 이미지 분류 벤치마크에서 다양한 너비 배수에 걸쳐 증강 셔플 블록의 효과를 검증하기 위해.

제안 방법

• 표준 셔플 블록을 1×1 컨볼루션, 디프웨이즈 컨볼루션, 조절 가능한 비율로 채널 분할을 조합한 베스트론 유사한 구조로 대체한 증강 셔플 블록을 도입한다.
• 기존 특징 맵과 변환 단계의 출력을 융합하여 암묵적 단기 연결을 구현함으로써 기울기 흐름과 특징 재사용을 향상시킨다.
• 학습 가능한 분할 비율 파라미터(r)를 사용하여 '특징 백업'에 유지되는 채널 수를 제어함으로써 계산 비용과 표현 능력 사이의 동적 트레이드오프를 가능하게 한다.
• 모든 셔플 블록을 대체하여 네트워크 아키텍처 전반에 걸쳐 증강 블록을 적용함으로써 AugShuffleNet 가문을 구성한다.
• CIFAR-10과 CIFAR-100에서 300 에포크 동안 표준 데이터 증강(랜덤 컷, 수평 플립), 코즈 학습률 감쇠가 적용된 SGD, 가중치 감쇠를 사용하여 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 ShuffleNetV2의 블록 설계에서 채널별 중복을 줄이면 정확도와 효율성이 향상될 수 있는가?
• RQ2 증강 셔플 블록에 유연한 분할 비율을 도입하면 모델 성능과 계산 비용에 어떤 영향을 미치는가?
• RQ3 증강 블록에 암묵적 단기 연결을 포함시키면 학습 동역학과 최종 정확도가 향상되는가?
• RQ4 증강 셔플 블록은 다양한 네트워크 너비에서 CIFAR 데이터셋에서 원래 셔플 블록을 일관되게 능가할 수 있는가?

주요 결과

• AugShuffleNet $1.5\times$ 는 CIFAR-10에서 94.40%의 top-1 정확도를 달성하여 ShuffleNetV2 $1.5\times$ (93.97%)를 능가하며, FLOPs는 85.38M에서 94.27M로 감소한다.
• CIFAR-100에서 AugShuffleNet $1.5\times$ 는 75.91%의 정확도를 기록하여 ShuffleNetV2 $1.5\times$ (74.70%)를 초월했고, FLOPs는 94.36M에서 85.47M로 감소했다.
• $0.5\times$ 너비 변형에서 AugShuffleNet은 CIFAR-10에서 91.05%의 정확도를 달성했으며, ShuffleNetV2 $0.5\times$ (90.83%)보다 0.22% 높고, FLOPs는 10.20M에서 10.91M로 감소했다.
• 분할 비율 $r=0.125$ 인 변형은 $r=0.375$ 변형보다 CIFAR-10에서 0.29% 높은 정확도를 기록했으며, FLOPs는 79.6%로 감소하고 파라미터 수는 76.7%로 줄었다.
• 제거 실험 결과 증강 블록이 특히 넓은 네트워크에서 채널별 중복을 줄여 효율성과 성능 향상에 기여함을 확인했다.