[論文レビュー] Computational Cost Reduction in Learned Transform Classifications

Emerson Lopes Machado, Cristiano Jacques Miosso+5 more|arXiv (Cornell University)|Apr 26, 2015

Analog and Mixed-Signal Circuit Design参考文献 25被引用数 3

ひとこと要約

本稿では、浮動小数点演算を整数演算とビットシフトに置き換えることで、学習された変換に基づく分類器における計算コストを低減するためのxQuantという手法を提案する。辞書および分類器の重みを2の累乗に量子化し、小さな絶対値を持つエントリをプルーニングし、整数値の入力を用いることで、最小限の精度損失で効率的なFPGA実装が可能となる。LAST分類器を用いた実験では、ビット幅を最大50%まで短縮でき、一部のデータセットでは精度が向上した。

ABSTRACT

We present a theoretical analysis and empirical evaluations of a novel set of techniques for computational cost reduction of classifiers that are based on learned transform and soft-threshold. By modifying optimization procedures for dictionary and classifier training, as well as the resulting dictionary entries, our techniques allow to reduce the bit precision and to replace each floating-point multiplication by a single integer bit shift. We also show how the optimization algorithms in some dictionary training methods can be modified to penalize higher-energy dictionaries. We applied our techniques with the classifier Learning Algorithm for Soft-Thresholding, testing on the datasets used in its original paper. Our results indicate it is feasible to use solely sums and bit shifts of integers to classify at test time with a limited reduction of the classification accuracy. These low power operations are a valuable trade off in FPGA implementations as they increase the classification throughput while decrease both energy consumption and manufacturing cost.

研究の動機と目的

• 学習された変換に基づく画像分類器における浮動小数点演算の高い計算コストとエネルギー消費を低減すること、特に組み込みシステムおよびFPGA実装を想定して。
• 辞書および分類器パラメータの動的範囲を低減させることで、顕著な精度劣化を伴わずに低精度の整数計算を可能とすること。
• 乗算をビットシフトに置き換え、ADCからの直接的な整数入力を用いることで、効率的なハードウェアマッピングを実現すること。
• 2の累乗への量子化と辞書エントリのハードスレッショルド処理により、一般化性能を向上させ、過学習を低減すること。
• LAST分類器に限らず、ELM や DNN などの行列-ベクトルベースの学習モデルへも適用可能な汎用的かつ再利用可能なフレームワークの開発。

提案手法

• 辞書および分類器の学習中にℓ₂ノルム正則化を適用し、エントリの動的範囲を縮小させ、低エネルギー表現を促進する。
• 絶対値が学習されたしきい値未満の辞書エントリをゼロ化するハードスレッショルド処理を実施し、スパarsityを高め、計算量を削減する。
• 浮動小数点入力を、アナログ・デジタルコンバータ（ADC）から直接得られる整数表現に置き換えることで、正規化と高コストなスケーリングを排除する。
• 変換辞書𝐷と分類器重みベクトル𝐰の両方を、各エントリを最も近い2の累乗に近似することで量子化し、乗算をビットシフトに置き換える。
• これらの技術をテスト時の推論パイプラインに統合し、浮動小数点乗算をすべて整数加算とビットシフトに置き換える。
• 学習アルゴリズム・フォー・ソフトスレッショーティング（LAST）分類器に、その元の評価で用いられた同じデータセットを用いて、xQuantフレームワークを完全に適用する。

実験結果

リサーチクエスチョン

• RQ1 浮動小数点演算を整数演算とビットシフトに置き換えることで、FPGA実装に適した計算効率の高い学習された変換ベース分類器を実現できるか？
• RQ2 辞書および分類器重みにおける動的範囲の低減とスパarsityの促進は、分類精度をどの程度維持できるか？
• RQ3 辞書および分類器パラメータを2の累乗に量子化することで、リソースが限られた環境下で一般化性能が向上し、過学習が低減するか？
• RQ4 ADCから直接得られる整数入力を正規化処理なしに推論に使用できるか？ これにより精度は保持され、計算コストは低減するか？
• RQ5 提案されたxQuantフレームワークは、多様な画像データセットにおいて、元の浮動小数点型LAST分類器と比較して、精度と効率の両面で優れているか？

主な発見

• xQuantフレームワークにより、すべてのテストデータセットで行列-ベクトル積𝐷ᵀ𝑋の表現に必要なビット数がほぼ50%削減され、ハードウェアリソースの要求が顕著に低減した。
• MNISTおよびCIFAR-10では分類精度が許容範囲内に保たれ、元の浮動小数点モデルと比較してわずかに誤差率が上昇したにとどまった。
• bark_woodgrainデータセットでは、xQuant手法が元のモデルを上回る分類精度を示した。これは、2の累乗への量子化による過学習の低減が要因であると考えられる。
• ADCから直接得られる整数入力を用いることで、正規化ステップが不要となり、和演算とビットシフトのみで効率的な計算が可能になり、FPGA設計におけるエネルギーおよび面積コストが削減された。
• 動的範囲の低減、スパース化、2の累乗への量子化の組み合わせにより、浮動小数点乗算を完全にビットシフトに置き換えることが可能となり、高いスループットと低消費電力が実現された。
• 提案された技術は汎用的であり、LASTフレームワークに限定されず、ELM や DNN などの行列-ベクトルベースの分類器にも適用可能である。