[論文レビュー] Convolutions Predictable Offloading to an Accelerator: Formalization and Optimization

Husson, Benjamin, Belcaïd, Mohammed+2 more|arXiv (Cornell University)|Mar 23, 2026

Advanced Neural Network Applications被引用数 0

ひとこと要約

論文は、限られたオンチップメモリを持つアクセラレータへ畳み込み層の戦略ベースのオフロードフレームワークを formalize し、エンドツーエンドの期間を最適化する ILP ベースの手法と Python シミュレータを提示します。

ABSTRACT

Convolutional neural networks (CNNs) require a large number of multiply-accumulate (MAC) operations. To meet real-time constraints, they often need to be executed on specialized accelerators composed of an on-chip memory and a processing unit. However, the on-chip memory is often insufficient to store all the data required to compute a CNN layer. Thus, the computation must be performed in several offloading steps. We formalise such sequences of steps and apply our formalism to a state of the art decomposition of convolutions. In order to find optimal strategies in terms of duration, we encode the problem with a set of constraints. A Python-based simulator allows to analyse in-depth computed strategies.

研究の動機と目的

• constrained on-chip memory を持つアクセラレータ上でのリアルタイム性・安全クリティカルな CNN 展開を動機付ける。
• 戦略を、メモリ管理ステップのシーケンスとして formalize する。
• 畳み込みオフロードをエンドツーエンドの期間を最小化する ILP 最適化問題へマップする。
• オフロード戦略を分析・可視化するための Python ベースのシミュレータを提供する。
• ハードウェアアーキテクチャを跨いだ適用性を示し、効率的な実行のために畳み込みをスライスに分解する。

提案手法

• 戦略を、入力、カーネル、出力の明示的なメモリセットを伴う n ステップ計算として正式モデル化する。
• 各ステップを、量化されたオンチップメモリフットプリントを伴う一連のメモリ操作と計算としてモデル化する。
• 2D 畳み込みをパッチ（X）およびパッチのグルーピング（g_i）に分解して、段階的なオフロードを可能にする。
• S1 ベースラインを形式化し、アクセラレータ容量制約の下でパッチのロード順序とグループサイズを最適化して S1 を導出する。
• ストラテジーを、メモリとデータ再利用の制約の下でエンドツーエンドの期間を最小化する ILP 形式へ翻訳する。
• 一般的なアクセラレータ上でユーザー定義の戦略を実行し、データ移動を可視化する Python シミュレータを開発する。

実験結果

リサーチクエスチョン

• RQ1 畳み込みオフロードを、メモリ管理されたステップのシーケンスとして formalize できるか。
• RQ2 限られたオンチップメモリの下で、特定のアクセラレータと畳み込み層に対して、期間の点で最適な戦略は何か。
• RQ3 メモリ制約を尊重しつつ、S1 ベースライン戦略をどのように改善して期間を短縮できるか。
• RQ4 ILP ベースの最適化とシミュレータは、アーキテクチャ横断で異なるオフロード戦略を効果的に比較・検証できるか。

主な発見

• 戦略フレームワークを formalize して、ステップ間のメモリ取引、フットプリント、データ再利用を捉える。
• 与えられたアクセラレータに対して、最適なステップグルーピングとデータロードを見つける ILP 形式を提案する。
• データ移動を追跡し、算出された戦略を検証するための Python ベースのシミュレータを構築する。
• このアプローチは、Eyeriss 的、TMMA、VTA などの複数のアクセラレータ・パラダイムに、メモリ階層の仮定を適用・適合させることで適用可能である。
• S1 の改善は、パッチグルーピングと固定カーネル居残りがエンドツーエンドの期間に与える影響を示す。