[논문 리뷰] HarDNet: A Low Memory Traffic Network

Ping Chao, Chao-Yang Kao외 3명|arXiv (Cornell University)|2019. 09. 03.

Advanced Neural Network Applications참고 문헌 35인용 수 6

한 줄 요약

HarDNet는 실시간 엣지 추론에서 주요 병목 현상인 중간 특징 맵에 대한 DRAM 트래픽을 최소화하는 새로운 신경망 아키텍처를 제안한다. 조화 연결 패턴과 채널 균형을 도입하여 계산 밀도(MACs 대 CIO)를 높임으로써, ResNet, DenseNet 및 SSD-VGG 대비 추론 지연을 30–45% 감소시키면서도 높은 정확도를 유지한다.

ABSTRACT

State-of-the-art neural network architectures such as ResNet, MobileNet, and DenseNet have achieved outstanding accuracy over low MACs and small model size counterparts. However, these metrics might not be accurate for predicting the inference time. We suggest that memory traffic for accessing intermediate feature maps can be a factor dominating the inference latency, especially in such tasks as real-time object detection and semantic segmentation of high-resolution video. We propose a Harmonic Densely Connected Network to achieve high efficiency in terms of both low MACs and memory traffic. The new network achieves 35%, 36%, 30%, 32%, and 45% inference time reduction compared with FC-DenseNet-103, DenseNet-264, ResNet-50, ResNet-152, and SSD-VGG, respectively. We use tools including Nvidia profiler and ARM Scale-Sim to measure the memory traffic and verify that the inference latency is indeed proportional to the memory traffic consumption and the proposed network consumes low memory traffic. We conclude that one should take memory traffic into consideration when designing neural network architectures for high-resolution applications at the edge.

연구 동기 및 목표

• 실시간 응용 프로그램에서 특징 맵에 대한 DRAM 트래픽를 간과하는 기존 모델이 MACs와 모델 크기에는 중점을 두지만, 이를 보완하기 위한 격차를 메운다.
• 특히 세분화 및 객체 검출과 같은 고해상도 작업에서 추론 지연의 주요 요인으로서 메모리 트래픽을 규명한다.
• 정확도나 계산 효율성에 손상을 주지 않으면서도 특징 맵 메모리 트래픽을 최소화하는 신경망 아키텍처를 설계한다.
• 계산 밀도(MACs 대 CIO)가 엣지 디바이스에서 추론 지연을 예측하는 데 핵심적인 지표임을 입증한다.

제안 방법

• 모든 컨볼루션 레이어의 입력 및 출력 텐서 크기의 합으로 정의된 플랫폼 독립적 프록시 지표로 컨볼루션 입력/출력(CIO)을 제안한다.
• 매우 낮은 계산 밀도를 가진 레이어(예: 채널 비율이 높은 1x1 컨볼루션)를 방지하기 위해 MACs 대 CIO(MoC) 비율에 소프트 제약 조건을 적용한다.
• DenseNet을 영감으로 삼았지만, 불필요한 연결을 제거하여 연결 비용을 감소시킨 조화 연결 패턴을 설계한다.
• 연결성에 기반해 레이어 간 채널 너비를 균형 잡아 높은 계산 밀도를 유지하고 메모리 트래픽을 줄인다.
• 실제 메모리 트래픽을 측정하고 CIO가 추론 지연에 대한 신뢰할 수 있는 프록시임을 검증하기 위해 Nvidia Profiler와 ARM Scale-Sim를 사용한다.
• COCO 및 VOC 데이터셋에서 객체 검출 및 세분화 작업을 위해 HarDNet 변종(예: HarDNet-68, HarDNet-138s)을 훈련하고 평가한다.

실험 결과

연구 질문

• RQ1 엣지 디바이스에서 고해상도 비전 작업에 대해 특징 맵에 대한 메모리 트래픽이 추론 지연을 지배하는 정도는 어느 정도인가?
• RQ2 MACs를 늘리거나 정확도를 떨어뜨리지 않으면서도 특징 맵 메모리 트래픽을 최소화할 수 있는 네트워크 아키텍처를 설계할 수 있는가?
• RQ3 CIO 지표가 다양한 하드웨어 플랫폼 간 실제 추론 지연을 신뢰할 수 있게 예측할 수 있는가?
• RQ4 계산 밀도(MACs 대 CIO)는 메모리 트래픽과 계산 간의 지연 트레이드오���에 어떤 영향을 미치는가?
• RQ5 밀접하게 연결된 네트워크에서 조화 연결 패턴이 메모리 트래픽을 줄이면서 정확도를 유지하거나 향상시킬 수 있는가?

주요 결과

• GPU에서 HarDNet는 FC-DenseNet-103 대비 35% 빠른 추론 시간, DenseNet-264 대비 36%, ResNet-152 대비 32% 빠른 추론 시간을 기록했다.
• HarDNet-68는 ResNet-50 대비 30% 더 빠른 추론 속도를 기록했으며, COCO 및 VOC 데이터셋에서 SSD-VGG보다 mAP가 향상되었다.
• 제안된 CIO 지표는 Nvidia Profiler와 ARM Scale-Sim를 통해 측정한 실제 DRAM 트래픽과 강하게 상관관계를 보이며, 프록시로의 신뢰성을 입증했다.
• HarDNet-68는 ImageNet 정확도가 낮음에도 불구하고 COCO에서 31.7의 mAP, VOC 2007에서 81.5%의 정확도를 기록했다.
• FC-DenseNet 대비 특징 맵에 대한 DRAM 트래픽이 40% 감소하여 조화 연결 및 채널 균형 전략의 효과를 입증했다.
• 연구 결과, 계산 밀도(MoC)가 낮을 경우 메모리 트래픽이 추론 지연을 지배할 수 있음을 보여주며, 엣지 AI 설계에서 중요한 고려 요소임을 입증했다.