[논문 리뷰] Efficient Winograd Convolution via Integer Arithmetic

Lingchuan Meng, Brothers, John|arXiv (Cornell University)|2019. 01. 07.

Advanced Neural Network Applications참고 문헌 17인용 수 27

한 줄 요약

이 논문은 유리수 산술을 초월하여 효율적인 정수 기반 계산을 가능하게 하는 복잡한 윈오그라드 컨볼루션 알고리즘을 소개한다. 이는 직접 방법 대비 산술 복잡도를 3.13배 감소시키며, 유리수 윈오그라드 방법 대비 최대 17.37%의 효율 향상을 이룬다. 또한 정확도 손실을 최소화하면서 필터 비트 폭을 30.77% 감소시키는 정수 우군의 필터 스케일링 기법을 제안하여 정수 전용 하드웨어 가속기에서 고성능 추론을 가능하게 한다.

ABSTRACT

Convolution is the core operation for many deep neural networks. The Winograd convolution algorithms have been shown to accelerate the widely-used small convolution sizes. Quantized neural networks can effectively reduce model sizes and improve inference speed, which leads to a wide variety of kernels and hardware accelerators that work with integer data. The state-of-the-art Winograd algorithms pose challenges for efficient implementation and execution by the integer kernels and accelerators. We introduce a new class of Winograd algorithms by extending the construction to the field of complex and propose optimizations that reduce the number of general multiplications. The new algorithm achieves an arithmetic complexity reduction of $3.13$x over the direct method and an efficiency gain up to $17.37\%$ over the rational algorithms. Furthermore, we design and implement an integer-based filter scaling scheme to effectively reduce the filter bit width by $30.77\%$ without any significant accuracy loss.

연구 동기 및 목표

• 정수 전용 하드웨어 가속기 및 커널에서 윈오그라드 컨볼루션을 효율적으로 구현하는 데 도전한다.
• 고정소수점 산술 환경에서 높은 오버헤드를 유발하는 유리수 기반 윈오그라드 알고리즘의 한계를 극복한다.
• 일반 곱셈을 줄이고 산술 효율을 향상시키기 위해 복소수 체를 사용하는 새로운 유형의 윈오그라드 알고리즘을 개발한다.
• 정확도 저하가 크지 않은 정수 기반의 하드웨어 우수한 필터 정밀도 스케일링 기법을 설계한다.
• 정량화된 신경망에서 복잡한 윈오그라드 컨볼루션과 정밀도 스케일링을 조합한 실현 가능성과 성능 이점을 입증한다.

제안 방법

• 유리수 체 ℚ에서 복소수 체 ℂ로 윈오그라드 알고리즘 구축을 확장하여 더 효율적인 정수 산술 계산을 가능하게 한다.
• 복잡한 윈오그라드 알고리즘에서 일반 곱셈의 수를 최소화하기 위해 최적화 기법을 적용하여 낮은 산술 복잡도를 달성한다.
• 정수 산술을 사용하여 윈오그라드 도메인의 필터를 압축하는 필터 스케일링 기법을 설계하여 비트 폭을 30.77% 감소시킨다.
• 최적의 정수 스케일링 인자를 사용하여 실수 값 스케일링을 근사함으로써 정적 수치 오차와 비율 오차를 최소화한다.
• 제안된 윈오그라드 및 스케일링 방법을 정량화된 모델(예: Inception V3, ResNet V2-50)에 통합하여 종단 간 평가를 수행한다.
• 표준 벤치마크(ILSVRC-12)를 사용하여 기준 정량화 모델과 비교하여 정확도 및 효율성을 평가한다.

실험 결과

연구 질문

• RQ1 복잡한 윈오그라드 컨볼루션을 복소수 체로 확장하면 정수 산술 환경에서 산술 효율을 향상시키고 일반 곱셈을 줄일 수 있는가?
• RQ2 복소수 도메인에서 알고리즘 최적화를 통해 윈오그라드 컨볼루션의 일반 곱셈 수를 얼마나 줄일 수 있는가?
• RQ3 윈오그라드 도메인에서 정수 기반 스케일링을 통해 필터 비트 폭을 얼마나 줄일 수 있으며, 이로 인해 정확도 손실이 크게 발생하는가?
• RQ4 정량화된 신경망에서 복잡한 윈오그라드 컨볼루션과 정밀도 스케일링을 조합했을 때 추론 정확도에 어떤 영향을 미치는가?
• RQ5 정수 하드웨어에서 기존의 유리수 윈오그라드 알고리즘과 비교해 복잡한 윈오그라드 방법은 효율성과 정확도 측면에서 어떻게 성능을 내는가?

주요 결과

• 제안된 복잡한 윈오그라드 알고리즘은 직접 컨볼루션 방법 대비 산술 복잡도를 3.13배 감소시켰다.
• 하드웨어 비트 폭을 고려할 때, 최고의 기존 유리수 윈오그라드 알고리즘 대비 15.93%에서 17.37%의 효율 향상을 제공한다.
• 정수 기반 필터 스케일링 기법은 평균 수치 오차 1.12와 평균 비율 오차 0.1%를 동반하면서 필터 비트 폭을 30.77% 감소시켰다.
• 제안된 방법을 적용한 Inception V3는 기준 모델 대비 상위 1위 정확도 73.69% (Δ = -0.22%)와 상위 5위 정확도 90.3% (Δ = -0.67%)를 유지했다.
• ResNet V2-50는 상위 1위 정확도가 0.13% 감소(73.21% 대 73.34%)했고, 상위 5위 정확도는 동일한 90.83%를 기록하여 정확도 손실이 거의 없음을 확인했다.
• 복잡한 윈오그라드 컨볼루션과 정밀도 스케일링의 조합은 정확도 저하를 최소화하면서 정수 전용 하드웨어에서 고성능 추론을 가능하게 한다.