[論文レビュー] HarDNet: A Low Memory Traffic Network

Ping Chao, Chao-Yang Kao+3 more|arXiv (Cornell University)|Sep 3, 2019

Advanced Neural Network Applications参考文献 35被引用数 6

ひとこと要約

HarDNetは、リアルタイムエッジ推論における主要なボトル neck である中間特徴マップのDRAMトラフィックを最小化する、新しいニューラルネットワークアーキテクチャを提案する。ハーモニック接続パターンとチャネルバランスの導入により、計算密度（MACs over CIO）を向上させることで、ResNet、DenseNet、SSD-VGGと比較して推論遅延を30–45％削減しながら、高い精度を維持する。

ABSTRACT

State-of-the-art neural network architectures such as ResNet, MobileNet, and DenseNet have achieved outstanding accuracy over low MACs and small model size counterparts. However, these metrics might not be accurate for predicting the inference time. We suggest that memory traffic for accessing intermediate feature maps can be a factor dominating the inference latency, especially in such tasks as real-time object detection and semantic segmentation of high-resolution video. We propose a Harmonic Densely Connected Network to achieve high efficiency in terms of both low MACs and memory traffic. The new network achieves 35%, 36%, 30%, 32%, and 45% inference time reduction compared with FC-DenseNet-103, DenseNet-264, ResNet-50, ResNet-152, and SSD-VGG, respectively. We use tools including Nvidia profiler and ARM Scale-Sim to measure the memory traffic and verify that the inference latency is indeed proportional to the memory traffic consumption and the proposed network consumes low memory traffic. We conclude that one should take memory traffic into consideration when designing neural network architectures for high-resolution applications at the edge.

研究の動機と目的

• リアルタイムアプリケーションにおける特徴マップのDRAMトラフィックを無視するが、MACsとモデルサイズに重点を置く既存のモデルが示すギャップを埋める。
• 特にセマンティックセグメンテーションやオブジェクト検出のような高解像度タスクにおいて、メモリトラフィックが推論遅延の主要因であることを特定する。
• 精度や計算効率を損なわずに、特徴マップのメモリトラフィックを最小化するニューラルネットワークアーキテクチャを設計する。
• 計算密度（MACs over CIO）がエッジデバイスにおける推論遅延を予測する上で重要な指標であることを示す。

提案手法

• すべての畳み込み層における入力および出力テンソルサイズの合計として定義される、プラットフォームに依存しないDRMトラフィックの代理指標として、畳み込み入出力（CIO）を提案する。
• 1×1畳み込みなど、チャネル比が高いために計算密度が極めて低い層を避けるために、MACs-over-CIO（MoC）比にソフト制約を適用する。
• DenseNetをインspirationとするが、不要な接続を削除することで接続コストを低減したハーモニック接続パターンを設計する。
• 接続性に基づいて層間のチャネル幅をバランスさせ、高い計算密度を維持し、メモリトラフィックを削減する。
• Nvidia ProfilerとARM Scale-Simを用いて実際のメモリトラフィックを測定し、CIOが推論遅延の信頼できる代理指標であることを検証する。
• COCOおよびVOCデータセットを用いて、オブジェクト検出およびセマンティックセグメンテーションのためのHarDNetバリアント（例：HarDNet-68、HarDNet-138s）を訓練・評価する。

実験結果

リサーチクエスチョン

• RQ1 エッジデバイスにおける高解像度ビジョンタスクにおいて、特徴マップのメモリトラフィックは推論遅延を支配的にするか？
• RQ2 MACsの増加や精度の低下を伴わずに、特徴マップのメモリトラフィックを最小化するネットワークアーキテクチャを設計可能か？
• RQ3 CIO指標は、異なるハードウェアプラットフォームにおいて実際の推論遅延を信頼性高く予測できるか？
• RQ4 計算密度（MACs over CIO）は、メモリトラフィックと計算の遅延トレードオフにどのように影響するか？
• RQ5 密接続ネットワークにおけるハーモニック接続パターンは、メモリトラフィックを低減しつつ、精度を維持または向上できるか？

主な発見

• GPU上でHarDNetは、FC-DenseNet-103と比較して35％、DenseNet-264と比較して36％、ResNet-152と比較して32％の高速化を達成した。
• HarDNet-68は、ResNet-50と比較して30％高速に推論を実行しながら、COCOおよびVOCデータセットにおけるmAPを向上させた。
• 提案されたCIO指標は、Nvidia ProfilerおよびARM Scale-Simで測定された実際のDRAMトラフィックと強く相関しており、その代理指標としての有効性が裏付けられた。
• HarDNet-68は、ImageNet精度が低いにもかかわらず、COCOでは31.7のmAP、VOC 2007では81.5％の精度を達成した。
• FC-DenseNetと比較して、特徴マップのDRAMトラフィックを40％削減した。これは、ハーモニック接続とチャネルバランス戦略の有効性を示している。
• 本研究では、計算密度（MoC）が低い場合、メモリトラフィックが推論遅延を支配的にすることが示され、エッジAIの設計要因として極めて重要であることが明らかになった。