[論文レビュー] A Reconfigurable Winograd CNN Accelerator with Nesting Decomposition Algorithm for Computing Convolution with Large Filters.

Jingbo Jiang, Xizi Chen+1 more|arXiv (Cornell University)|Feb 26, 2021

Advanced Image Processing Techniques参考文献 18被引用数 6

ひとこと要約

本論文では、大規模な畳み込みフィルタ（5x5から9x9）を3x3タイルのシーケンスに分解するネスティング分解アルゴリズムを用いた再構成可能Winograd CNNアクセラレータを提案する。この手法により、3x3 Winograd変換を介した効率的な計算が可能となり、最先端のOLA-Winogradアルゴリズムと比較して乗算回数を1.41倍から3.29倍まで削減し、CNNにおける大規模フィルタ畳み込みの計算効率を顕著に向上させる。

ABSTRACT

Recent literature found that convolutional neural networks (CNN) with large filters perform well in some applications such as image semantic segmentation. Winograd transformation helps to reduce the number of multiplications in a convolution but suffers from numerical instability when the convolution filter size gets large. This work proposes a nested Winograd algorithm to iteratively decompose a large filter into a sequence of 3x3 tiles which can then be accelerated with a 3x3 Winograd algorithm. Compared with the state-of-art OLA-Winograd algorithm, the proposed algorithm reduces the multiplications by 1.41 to 3.29 times for computing 5x5 to 9x9 convolutions.

研究の動機と目的

• CNNにおける大規模畳み込みフィルタにWinograd変換を適用した際の数値的不安定性を解消すること。
• 特に画像セマンティックセグメンテーションなどの応用を想定し、大規模フィルタ畳み込みの計算効率を向上させること。
• 大規模フィルタの効率的計算を可能にする、スケーラブルかつ再構成可能なハードウェアアクセラレータの開発。
• 既存のOLA-Winograd手法を上回る乗算回数の削減を実現すること。
• アルゴリズム的イノベーションにより、大規模フィルタCNNの実用的導入を可能にする。

提案手法

• 大規模フィルタ（例：5x5、7x7、9x9）を繰り返し3x3フィルタタイルのシーケンスに分解するネストドWinogradアルゴリズムを提案する。
• 各タイルに3x3 Winograd変換を適用し、畳み込み演算における乗算回数を削減する。
• 大規模フィルタへの直接的なWinograd変換を回避することで、数値的安定性を維持するタイリングベースの分解戦略を採用する。
• 異なるフィルタサイズや計算モードの間で動的に切り替え可能な再構成可能アクセラレータアーキテクチャを設計する。
• ネスティング分解を既存のWinogradベースの加速技術と統合し、精度を保持したまま効率性を向上させる。
• 3x3タイルの逐次処理をサポートするように、アクセラレータ内のデータフローとメモリアクセスパターンを最適化する。

実験結果

リサーチクエスチョン

• RQ1 大規模畳み込みフィルタは、Winogradベース畳み込みにおける数値的不安定性を軽減するため、より小さな安定したコンポonentに分解可能か？
• RQ2 OLA-Winogradと比較して、ネスティング分解アルゴリズムは5x5から9x9畳み込みにおいて、乗算回数をどの程度削減できるか？
• RQ3 顕著な計算コスト削減を達成しつつ、本アルゴリズムは数値的精度をどのように維持しているか？
• RQ4 ネスティング分解手法を用いた再構成可能アクセラレータのハードウェア効率はどの程度向上するか？
• RQ5 本手法は、実用的なCNN推論ワークロードにおけるさまざまな大規模フィルタサイズを効果的にスケーリング可能か？

主な発見

• 提案されたネスティング分解アルゴリズムは、5x5畳み込みにおいて、OLA-Winograd手法と比較して乗算回数を1.41倍削減する。
• 7x7畳み込みにおいて、本手法は最先端のOLA-Winogradアプローチと比較して乗算回数を2.34倍削減する。
• 9x9畳み込みにおいて、本アルゴリズムは最大で3.29倍の乗算回数削減を達成し、計算効率を顕著に向上させる。
• 大規模フィルタへの直接的なWinograd変換を回避することで、分解戦略が数値的安定性を維持する。
• 再構成可能アクセラレータ設計により、ネストド分解の効率的ハードウェアマッピングが実現され、リアルタイムCNN推論が可能になる。
• 本手法は、性能を犠牲にすることなく、リソース制限環境における大規模フィルタCNNの実用的導入への実用的道筋を提供する。