[論文レビュー] QONNX: Representing Arbitrary-Precision Quantized Neural Networks

Alessandro Pappalardo, Yaman Umuroglu+12 more|arXiv (Cornell University)|Jun 15, 2022

Model Reduction and Neural Networks被引用数 9

ひとこと要約

この論文では、ONNXに基づく任意精度の量子化ニューラルネットワークのための新規で高水準な中間表現（IR）であるQONNXを紹介する。QONNXは、後方互換性のあるクリッピングベースの量子化をONNXの既存フォーマットに拡張し、均一量子化の柔軟でプラットフォームに依存しない表現を可能にする3つの新規演算子（Quant、BipolarQuant、Trunc）を提案する。これにより、QATフレームワークやFPGAツールチェイン（FINN や hls4ml）との相互運用性が実現され、ベンチマークと共有のための公開モデルズーが提供されている。

ABSTRACT

We present extensions to the Open Neural Network Exchange (ONNX) intermediate representation format to represent arbitrary-precision quantized neural networks. We first introduce support for low precision quantization in existing ONNX-based quantization formats by leveraging integer clipping, resulting in two new backward-compatible variants: the quantized operator format with clipping and quantize-clip-dequantize (QCDQ) format. We then introduce a novel higher-level ONNX format called quantized ONNX (QONNX) that introduces three new operators -- Quant, BipolarQuant, and Trunc -- in order to represent uniform quantization. By keeping the QONNX IR high-level and flexible, we enable targeting a wider variety of platforms. We also present utilities for working with QONNX, as well as examples of its usage in the FINN and hls4ml toolchains. Finally, we introduce the QONNX model zoo to share low-precision quantized neural networks.

研究の動機と目的

• 深層学習フレームワークとハードウェアツールチェインの間で、量子化ニューラルネットワーク（QNN）の標準化された高水準表現が不足している問題に対処すること。
• 既存のフォーマット（QDQ や量子化演算子）を拡張し、整数クリッピングを用いてONNXで8ビット未満の量子化を後方互換性を保った形で表現すること。
• 量子化の詳細を抽象化し、トランスフォーマー形式とチャネル単位の量子化をブロードキャストのセマンティクスでサポートする、より高水準で表現力のあるONNX形式（QONNX）を設計すること。
• Brevitas や QKeras などの既存の量子化意識学習（QAT）フレームワーク、および FINN や hls4ml などのFPGAコンパイルツールチェインとのシームレスな統合を可能にすること。
• 多様なデータセットとビット幅設定で、低精度量子化モデルのベンチマークとコミュニティ共有を支援する、標準化された拡張可能なモデルズーを構築すること。

提案手法

• 既存のONNX量子化フォーマット（量子化演算子フォーマットとQDQ）を拡張し、整数クリッピングを導入することで、8ビット未満の量子化を後方互換性を保った形でサポートする。
• 2つの新規低水準フォーマットを提案：クリッピング付きの量子化演算子フォーマットと、量子化-クリッピング-逆量子化（QCDQ）フォーマット。これにより、境界付き整数値を持つ低精度量子化テンソルの表現が可能になる。
• 3つの新規演算子（Quant（均一量子化用）、BipolarQuant（バイナリまたはバイポーラ量子化用）、Trunc（切り捨てベースの量子化用））を備えた高水準なONNX IR、すなわちQONNXを導入する。
• QONNXにおけるブロードキャストのセマンティクスを活用し、テンソル単位およびチャネル単位の設定に一般化された量子化を実現することで、表現力とポータビリティを向上させる。
• 形状推論、定数畳み込み、変換パイプラインのためのソフトウェアユーティリティを開発し、QONNXモデルをツールチェイン固有のフォーマット（例：FINN-ONNX）に変換可能にする。
• 自動変換ステップを経てQONNXをFPGAコンパイラ（FINN や hls4ml）のネイティブONNXダイアレクトに変換することで、FPGAにおける完全なコンパイルとデプロイが可能になる。

実験結果

リサーチクエスチョン

• RQ1 既存のツールチェインを破壊せずに、ONNXで8ビット未満の量子化ニューラルネットワークを後方互換性を保った形で表現する方法は何か？
• RQ2 多様な量子化方式（例：テンソル単位、チャネル単位の量子化）をサポートしつつ、任意精度の均一量子化を柔軟に表現できる高水準で抽象化されたONNX表現は何か？
• RQ3 QONNXのような統一された中間表現は、Brevitas や QKeras などのQATフレームワークと、FINN や hls4ml などのFPGAコンパイルツールチェインとの間で、シームレスな相互運用性を実現できるか？
• RQ4 低精度量子化モデルのベンチマークとコミュニティ共有を支援する、標準化され拡張可能なモデルズーをどのように構築できるか？
• RQ5 低精度推論シナリオにおいて、異なるビット幅設定がモデルの精度と計算コストに与える影響は何か？

主な発見

• QONNXは、高水準で拡張可能なONNXベースのIRを用いて、任意のビット幅（8ビット未満を含む）の量子化ニューラルネットワークの表現を可能にする。
• QCDQおよびクリッピング付き量子化演算子フォーマットにより、既存のONNXツールチェインで低精度量子化を後方互換性を保った形で表現できる。
• QONNXモデルズーには、MNIST、CIFAR-10、ImageNetの各データセットに跨る7つのベンチマークモデルが含まれており、精度はMobileNet-w4a4の71.14%からTFC-w2a2の96.60%まで変動し、多様なデータセットでの実用的デプロイを示している。
• QONNXモデルズーのモデルは、計算複雑度が59k BOPs（TFC-w1a1）から740億を超えるBOPs（MobileNet-w4a4）まで広範囲にわたり、多様な効率性と精度のトレードオフを反映している。
• 統合パイプラインは、QONNXモデルをFINN-ONNXフォーマットに成功裏に変換し、FINNツールチェインを用いたFPGA上の完全なコンパイルとデプロイを可能にした。
• 提案されたQONNXフォーマットは、量子化の詳細を抽象化しながらも表現力を維持しており、より広範なハードウェアサポートと、ONNXコミュニティ内での将来的な標準化を可能にする。