[논문 리뷰] High performance ultra-low-precision convolutions on mobile devices

Andrew Tulloch, Yangqing Jia|arXiv (Cornell University)|2017. 12. 06.

Advancements in PLL and VCO Technologies참고 문헌 2인용 수 19

한 줄 요약

이 논문은 이동용 ARMv7 CPU를 대상으로 한 초저해상도(4bit 이하) 컨볼루션 커널의 오픈소스이자 고도로 최적화된 구현을 제시한다. 비트단위 연산(XOR 및 POPCNT)을 활용해 이진 내적 연산을 가속화하며, 저성능 장치인 Cortex-A53 및 Cortex-A7에서 최신 float32 및 int8 기준선 대비 4배에서 20배의 성능 향상을 달성하여 실시간 모바일 비전 워크로드에 대한 실용적 타당성을 입증한다.

ABSTRACT

Many applications of mobile deep learning, especially real-time computer vision workloads, are constrained by computation power. This is particularly true for workloads running on older consumer phones, where a typical device might be powered by a single- or dual-core ARMv7 CPU. We provide an open-source implementation and a comprehensive analysis of (to our knowledge) the state of the art ultra-low-precision (<4 bit precision) implementation of the core primitives required for modern deep learning workloads on ARMv7 devices, and demonstrate speedups of 4x-20x over our additional state-of-the-art float32 and int8 baselines.

연구 동기 및 목표

• 이동용 CPU에서 초저해상도 딥러닝의 미해결된 계산 및 구현 과제를 해결한다.
• 제한된 계산 자원을 가진 저성능 이동 장치에서 실시간 컴퓨터 비전 워크로드를 위한 고성능 추론을 가능하게 한다.
• 다양한 하드웨어, 모델 아키텍처 및 기준선 구현 방식을 대상으로 초저해상도 모델의 공정하고 종합적인 성능 평가를 제공한다.
• ARMv7 및 AVX2 아키텍처를 대상으로 한 초저해상도 신경망을 위한 고효율 런타임을 개발하고 오픈소스로 공개한다.
• 초저해상도 모델이 고도로 최적화된 커널과 적절한 훈련 기법을 조합할 경우 상당한 성능 향상을 달성할 수 있음을 입증한다.

제안 방법

• ARMv7의 XOR 및 POPCNT 명령어를 활용해 이진 내적 마이크로커널을 구현하여 저해상도 벡터 내적 연산을 효율적으로 계산한다.
• 각 비트 깊이를 별도의 이진 벡터로 저장하는 압축된 비트 레이아웃 표현 방식을 사용해 SIMD 처리를 효율적으로 구현한다.
• 레지스터 블로킹 및 L1 캐시 블로킹과 같은 표준 최적화 기법을 적용하여 데이터 국소성을 극대화하고 메모리 대역폭 부담을 줄인다.
• 저수준 세부 정보를 추상화하고 다양한 아키텍처 간 재사용을 가능하게 하기 위해 블리스 스타일 소프트웨어 스택에 마이크로커널을 통합한다.
• 1×1 및 3×3 컨볼루션에 대해 윈오그라드 유사 변환과 사전 계산된 필터 가중치, 선택적 FP16 중간 저장소를 활용해 메모리 대역폭을 줄인다.
• HWGQ 양자화 및 비트 감소 재훈련과 같은 고급 훈련 기법을 적용해 극단적인 1~3비트 양자화 후에도 모델 정확도를 유지한다.

실험 결과

연구 질문

• RQ1 저성능 ARMv7 이동용 CPU에서 float32 및 int8 기준선 대비 초저해상도(4bit 이하) 컨볼루션은 상당한 성능 향상을 달성할 수 있는가?
• RQ2 하드웨어 마이크로아키텍처(예: Cortex-A53 대비 Cortex-A7)는 초저해상도 커널의 성능 이점을 어떻게 영향을 미치는가?
• RQ3 ARMv7에서 이진 내적 연산의 이론적 최고 성능에 가까운 성능을 달성하기 위해 가장 효과적인 구현 기법은 무엇인가?
• RQ4 가중치 및 활성화를 1~2비트로 극단적으로 양자화하는 것은 정확도를 희생시키지 않고 얼마나 실용적으로 적용할 수 있는가?
• RQ5 다양한 기준선 구현 방식(float32, int8)은 이동용 장치에서 초저해상도 추론의 실질적 이점에 어떤 영향을 미치는가?

주요 결과

• 제안된 초저해상도 컨볼루션 커널은 ARMv7 장치에서 float32 기준선 대비 최대 20배, int8 기준선 대비 4배의 성능 향상을 달성한다.
• 1.4GHz Cortex-A53에서 마이크로벤치마크에서 이론적 최고 성능의 약 75%에 도달한다.
• 3×3 및 1×1 컨볼루션의 경우, 특정 레이어 구성에서 Cortex-A53 기준 9.5배, Cortex-A7 기준 11배의 성능 향상이 관찰되었다.
• 사전 계산된 윈오그라드 변환된 필터와 선택적 FP16 중간 저장소를 사용할 경우, 표준 GEMMLOWP 기준선 대비 성능 향상이 최대 2.5배까지 이루어졌다.
• 일부 경우에서 이전 오픈소스 ARMv7 구현 대비 10배 이상 빠른 성능을 기록하였으며 기하 평균 속도 향상은 3.7배였다.
• HWGQ 양자화 및 비트 감소 재훈련과 같은 고급 훈련 기법을 통해 2비트 활성화 및 1비트 가중치도 높은 정확도를 유지할 수 있어 초저해상도 모델이 실세계 배포에 실현 가능하다.