[논문 리뷰] Making EfficientNet More Efficient: Exploring Batch-Independent Normalization, Group Convolutions and Reduced Resolution Training

Dominic Masters, Antoine Labatie외 2명|arXiv (Cornell University)|2021. 06. 07.

Advanced Neural Network Applications참고 문헌 55인용 수 8

한 줄 요약

이 논문은 그래프코어 IPU 가속기에서 EfficientNet 모델의 실용적 효율성을 향상시키기 위해 세 가지 기법을 통해 개선한다: 깊이분할 합성곱을 그룹 합성곱으로 대체하고, 배치에 독립적인 정규화를 향상시키기 위해 프록시 정규화 활성화를 도입하며, 반분 해상도에서 훈련한 후 미세조정을 수행한다. 이러한 방법들은 함께 적용될 경우 훈련 처리량을 최대 7배로 증가시키고 추론 지연을 최대 1.4배로 감소시켜 이론적 효율성과 실용적 성능 간 격차를 크게 줄인다.

ABSTRACT

Much recent research has been dedicated to improving the efficiency of training and inference for image classification. This effort has commonly focused on explicitly improving theoretical efficiency, often measured as ImageNet validation accuracy per FLOP. These theoretical savings have, however, proven challenging to achieve in practice, particularly on high-performance training accelerators. In this work, we focus on improving the practical efficiency of the state-of-the-art EfficientNet models on a new class of accelerator, the Graphcore IPU. We do this by extending this family of models in the following ways: (i) generalising depthwise convolutions to group convolutions; (ii) adding proxy-normalized activations to match batch normalization performance with batch-independent statistics; (iii) reducing compute by lowering the training resolution and inexpensively fine-tuning at higher resolution. We find that these three methods improve the practical efficiency for both training and inference. Code available at https://github.com/graphcore/graphcore-research/tree/main/Making_EfficientNet_More_Efficient .

연구 동기 및 목표

• 고성능 가속기인 IPU에서 EfficientNet의 이론적 FLOP 효율성과 실용적 성능 간 격차를 해소하기 위해.
• 모델 정확도를 훼손하지 않으면서 훈련 및 추론 효율성을 향상시키기 위해.
• FLOP 기반 이론적 지표를 초월해 하드웨어 활용도를 높이는 알고리즘적 수정을 탐색하기 위해.
• 실용적 효율성 향상이 아키텍처 및 훈련 전략 수정을 통해 달성될 수 있음을 입증하기 위해.

제안 방법

• 계산 효율성과 하드웨어 활용도 향상을 위해 깊이분할 합성곱을 그룹 합성곱으로 일반화하기 위해.
• 배치 정규화 성능을 유지하면서도 배치에 독립적인 통계를 유지하기 위해 프록시 정규화 활성화를 도입하기 위해.
• 계산 비용과 데이터 이동량을 낮추기 위해 원본 크기의 반분 해상도로 훈련을 수행하기 위해.
• 저해상도 훈련에서 잃어버린 정확도를 회복하기 위해 고해상도에서 경량의 미세조정 단계를 적용하기 위해.
• 배치에 독립적인 정규화를 안정화시키기 위해 계층별 스케일링과 가중치 표준화를 사용하기 위해.
• 이러한 방법들의 조합이 EfficientNet B0-B5 전반에 걸쳐 훈련 처리량, 추론 지연, 정확도에 미치는 영향을 평가하기 위해.

실험 결과

연구 질문

• RQ1 현대 가속기에서 깊이분할 합성곱을 그룹 합성곱으로 대체하는 것이 실용적 훈련 효율성을 향상시킬 수 있는가?
• RQ2 프록시 정규화 활성화는 배치에 독립적 정규화와 배치 정규화 간의 성능 격차를 어느 정도 메울 수 있는가?
• RQ3 반분 해상도에서 훈련한 후 미세조정을 수행하는 것이 원본 해상도 훈련보다 더 나은 실용적 효율성을 제공하는가?
• RQ4 이러한 수정들이 다양한 모델 규모에서 훈련 처리량과 추론 지연에 어떻게 영향을 미치는가?
• RQ5 이론적 FLOP 효율성 향상이 실질적인 하드웨어 성능 향상으로 효과적으로 번역될 수 있는가?

주요 결과

• 그룹 합성곱, 프록시 정규화 활성화, 반분 해상도 훈련의 조합은 기준 EfficientNet 대비 최대 7배의 훈련 처리량 향상을 달성했다.
• 최적화된 구성, 특히 G16-LN+PN-Half 설정을 사용할 경우 추론 지연이 최대 1.4배 감소했다.
• G16-EfficientNet 버전은 G1-EfficientNet 버전보다 훨씬 높은 실용적 처리량을 기록하여 더 큰 그룹 크기의 이점이 있음을 입증했다.
• 반분 해상도 훈련은 이론적 효율성에서 2배의 처리량 향상을 이끌었으며, 전체 해상도에서 테스트할 경우에도 강력한 성능 향상을 보였다.
• LN+PN 구성은 GN 기반 모델보다 높은 정확도를 달성했지만 약 10%의 처리량 비용을 수반했으며, 이는 향후 소프트웨어 최적화로 이 격차를 메울 수 있음을 시사한다.
• 가장 효율적인 구성(G16-LN+PN-Half)은 추론 처리량을 최대 3.6배 높였으며, 모든 테스트 해상도에서 높은 정확도를 유지했다.