[논문 리뷰] Hybrid Composition with IdleBlock: More Efficient Networks for Image Recognition

Bing Xu, Andrew Tulloch외 3명|arXiv (Cornell University)|2019. 11. 19.

Advanced Neural Network Applications참고 문헌 31인용 수 5

한 줄 요약

이 논문은 내부 연결을 '무작위'로 유지함으로써 연결을 제거하는 새로운 신경망 빌딩 블록인 IdleBlock을 소개하고, 기존 MBBlock과 IdleBlock을 번갈아가며 조합하는 하이브리드 구성 전략을 제안함으로써 효율성을 향상시킴. 신경망 아키텍처 탐색 없이도, 하이브리드화된 MobileNet v3와 EfficientNet-B0는 동일한 계산 예산 하에서 최신 기술 수준의 정확도를 달성하며, 인간이 설계한 모델과 NAS 최적화 모델을 모두 능가함.

ABSTRACT

We propose a new building block, IdleBlock, which naturally prunes connections within the block. To fully utilize the IdleBlock we break the tradition of monotonic design in state-of-the-art networks, and introducing hybrid composition with IdleBlock. We study hybrid composition on MobileNet v3 and EfficientNet-B0, two of the most efficient networks. Without any neural architecture search, the deeper "MobileNet v3" with hybrid composition design surpasses possibly all state-of-the-art image recognition network designed by human experts or neural architecture search algorithms. Similarly, the hybridized EfficientNet-B0 networks are more efficient than previous state-of-the-art networks with similar computation budgets. These results suggest a new simpler and more efficient direction for network design and neural architecture search.

연구 동기 및 목표

• 현대 컨volution 신경망에서 단조롭고 완전히 연결된 블록 설계의 비효율성을 해결하기 위해, 내부 연결을 자연스럽게 제거하는 새로운 블록 설계를 제안함.
• 최신 기술 수준의 네트워크에서 일반적으로 사용되는 단조로운 블록 스택 구조에 도전하기 위해, 비단조로운 하이브리드 구성 전략을 제안함.
• 더 깊고 하이브리드적인 아키텍처를 통해 제거된 계산 예산을 활용하면, 기존의 NAS나 전문가가 설계한 방법보다 더 높은 효율성과 정확도를 달성할 수 있음을 입증함.
• 잔차 블록에서 채널 섞기 연산의 필요성을 평가하여, 제안된 설계에서는 이 연산이 필수적이지 않음을 보임.

제안 방법

• 입력의 일부를 그대로 통과시킴으로써 내부 연결을 효과적으로 제거하는 MBBlock의 변종인 IdleBlock을 제안함. 이는 계산 없이도 연결을 제거함.
• 정보 흐름과 계산 효율성의 균형을 맞추기 위해, 표준 MBBlock과 IdleBlock을 번갈아가며 배치하는 비단조로운 블록 스택 전략인 하이브리드 구성(HC)을 도입함.
• 정보 교환을 IdleBlock 외부에서 이루어지게 하는 수정된 블록 설계를 적용함으로써, 특징 연결성을 유지하면서도 계산량을 감소시킴.
• EfficientNet와 유사한 복합 스케일링 전략(깊이, 너비, 해상도)을 사용하지만, 이를 IdleBlock을 포함한 하이브리드 아키텍처에 적용하여 효율성을 유지함.
• 채널 섞기 연산자(ISB)와 비섞는 IdleBlock을 비교하는 분석 실험을 수행하여, 섞기가 성능에 필수적이지 않음을 입증함.
• 더 깊은 네트워크에서 결과를 검증하기 위해 분산 학습을 활용함. 이는 단조로운 MBBlock 스택과 하이브리드 IdleBlock 구성 간의 성능을 비교함.

실험 결과

연구 질문

• RQ1 내부 연결을 자연스럽게 제거하는 블록 설계(IdleBlock)가 정확도를 희생시키지 않고도 네트워크 효율성을 향상시킬 수 있는가?
• RQ2 단조로운 블록 스택 패턴을 깨고 하이브리드 구성 전략을 도입하면 더 나은 정확도-계산 예산 트레이드오프를 달성할 수 있는가?
• RQ3 하이브리드 아키텍처에서 IdleBlock을 사용할 경우, 잔차 블록에서 채널 섞기 연산이 필수적인가?
• RQ4 IdleBlock을 포함한 하이브리드 구성 전략이 동일한 계산 예산 하에서 인간이 설계한 모델과 NAS 최적화 모델을 모두 능가할 수 있는가?
• RQ5 L/R-IdleBlock(좌우 번갈아 배치)의 위치가 수신 필드와 최종 정확도에 어떤 영향을 미치는가?

주요 결과

• 하이브리드 구성 전략을 적용한 MobileNet v3에서 IdleBlock을 사용할 경우, 380.1 MAdds의 계산 예산 하에서 ImageNet Top-1 정확도 77.5%를 달성하며, 이는 유사한 계산 예산을 가진 이전의 최신 기술 수준 모델을 모두 뛰어넘음.
• IdleBlock을 적용한 하이브리드화된 EfficientNet-B0는 752.2 MAdds의 계산 예산 하에서 Top-1 정확도 79.5%를 달성함. 이는 원본 EfficientNet-B0(715.9 MAdds에서 79.2%)와 다른 최신 기술 수준 모델을 모두 능가함.
• 15개의 MBBlock 중 14개를 IdleBlock으로 교체한 경우(채널 섞기 없음), Top-1 정확도 73.8%를 기록함. 이는 ISB를 사용한 경우와 동일한 성능를 달성하지만 계산 복잡도가 감소함.
• 하이브리드 아키텍처를 통해 IdleBlock을 적용한 네트워크는 동일한 깊이와 계산 예산 하에서 단조로운 MBBlock 스택보다 0.3–0.4% 높은 정확도를 확보함. 이는 MAdds가 1.3배 적게 소비됨.
• L/R-IdleBlock의 교차 배치 방식은 단조로운 IdleBlock 스택보다 정확도를 향상시키며, 더 깊은 MobileNet v3 구성에서 Top-1 정확도 77.57%를 기록함(비교 대상: 77.39%).
• 분석 실험 결과, 제안된 설계에서는 채널 섞기 연산자가 필수적이지 않음을 확인함. IdleBlock만으로도 더 적은 계산량으로 동일하거나 더 높은 성능를 달성함.