[論文レビュー] Q-HyViT: Post-Training Quantization of Hybrid Vision Transformers with Bridge Block Reconstruction for IoT Systems

Jemin Lee, Yongin Kwon+4 more|arXiv (Cornell University)|Mar 22, 2023

CCD and CMOS Imaging Sensors被引用数 5

ひとこと要約

本稿では、効率的なハイブリッドビジョントランスフォーマー（例：MobileViTv1/2、EfficientFormer）向けに特化した、初めてのポストトレーニング量子化手法であるQ-HyViTを提案する。動的アクティベーションレンジ、ブリッジブロックにおけるゼロポイントオーバーフロー、多様な正規化、および小規模モデル（500万パラメータ未満）という4つの主要な課題に対処する。スケーリング要因、量子化粒度（チャネル単位／レイヤー単位）、および方式（対称／非対称）を同時に最適化する新規なハイブリッド再構成誤差最小化手法を導入することで、既存のPTQ手法に比べて8ビットで平均8.32%、6ビットで平均26.02%の精度向上を達成する。

ABSTRACT

Recently, vision transformers (ViTs) have superseded convolutional neural networks in numerous applications, including classification, detection, and segmentation. However, the high computational requirements of ViTs hinder their widespread implementation. To address this issue, researchers have proposed efficient hybrid transformer architectures that combine convolutional and transformer layers with optimized attention computation of linear complexity. Additionally, post-training quantization has been proposed as a means of mitigating computational demands. For mobile devices, achieving optimal acceleration for ViTs necessitates the strategic integration of quantization techniques and efficient hybrid transformer structures. However, no prior investigation has applied quantization to efficient hybrid transformers. In this paper, we discover that applying existing post-training quantization (PTQ) methods for ViTs to efficient hybrid transformers leads to a drastic accuracy drop, attributed to the four following challenges: (i) highly dynamic ranges, (ii) zero-point overflow, (iii) diverse normalization, and (iv) limited model parameters ($<$5M). To overcome these challenges, we propose a new post-training quantization method, which is the first to quantize efficient hybrid ViTs (MobileViTv1, MobileViTv2, Mobile-Former, EfficientFormerV1, EfficientFormerV2). We achieve a significant improvement of 17.73% for 8-bit and 29.75% for 6-bit on average, respectively, compared with existing PTQ methods (EasyQuant, FQ-ViT, PTQ4ViT, and RepQ-ViT)}. We plan to release our code at https://gitlab.com/ones-ai/q-hyvit.

研究の動機と目的

• 純粋なViTでは成功しているが、畳み込み層とトランスフォーマーレイヤーを統合する効率的ハイブリッドビジョントランスフォーマー（HyViTs）には有効なポストトレーニング量子化（PTQ）手法が不足しているという問題に対処すること。
• HyViTsの量子化における4つの主要な課題を特定・解決すること：極めて動的なアクティベーションレンジ、ブリッジブロックにおけるゼロポイントオーバーフロー、多様な正規化手法、および限られたモデルパラメータ数（500万未満）。
• ブリッジブロックおよび非ブリッジブロックの両方のレイヤーに対して、スケーリング要因、粒度、方式を統合的に最適化する、包括的でエンドツーエンドのPTQフレームワークを構築すること。
• 再訓練なしに、小規模なHyViTモデル（例：MobileViTv1-xxs）を高精度に量子化し、リソース制限のあるIoTデバイスへの効率的なデプロイを可能にすること。

提案手法

• ブリッジブロックと非ブリッジブロックで異なる適応を示すハイブリッド再構成誤差最小化手法を提案し、量子化パラメータの共同最適化を可能にする。
• 2次再構成誤差最小化を拡張してブリッジブロックを統合し、スケーリング要因およびゼロポイントの正確なキャリブレーションを可能にする。
• 二重最適化戦略を導入：非ブリッジブロックにはチャネル単位の量子化、ブリッジブロックにはレイヤー単位の量子化を適用し、ゼロポイントオーバーフローを軽減する。
• アクティベーション統計に基づき、各レイヤーで動的に量子化粒度と方式（対称／非対称）を選択する統一フレームワークを採用する。
• 再訓練なしに最適な量子化パラメータを計算するために、小規模でラベルなしのキャリブレーションデータセットを活用し、実世界のIoTデプロイメントへの高い適用性を確保する。
• 既存の2次再構成誤差最小化を再利用・拡張し、特にブリッジブロックにおけるハイブリッドアーキテクチャ特有のアクティベーション分布に対応する。

Figure 1: Overall quantization process of Q-HyViT on the representative structure of hybrid vision transformers, including local, global, and bridge representation.

実験結果

リサーチクエスチョン

• RQ1 純粋なViTでは成功している既存のポストトレーニング量子化手法が、畳み込みとトランスフォーマー層を統合する効率的ハイブリッドビジョントランスフォーマーに適用されないのはなぜか？
• RQ2 ブリッジブロックにおけるゼロポイントオーバーフローが、小規模なHyViTモデルで精度低下を引き起こすメカニズムは何か？また、これを緩和する量子化戦略は何か？
• RQ3 HyViTsにおける再構成誤差を最小化する観点で、量子化粒度（チャネル単位対レイヤー単位）と量子化方式（対称対非対称）の最適なトレードオフは何か？
• RQ4 ハイブリッドViTに見られる多様な正規化手法がポストトレーニング量子化のロバストネスに与える影響は何か？また、量子化プロセス内でこれらを統合的に扱う方法は何か？
• RQ5 統一されたPTQフレームワークは、再訓練なしに小規模なHyViTモデル（500万パラメータ未満）で顕著な精度向上を達成できるか？また、最先端のPTQ手法と比較してどのように差をつけるか？

主な発見

• 8ビット精度での量子化において、複数のハイブリッドViTモデルを対象に、既存のPTQ手法（EasyQuant、FQ-ViT、PTQ4ViT）に比べて平均8.32%の精度向上を達成した。
• 6ビット量子化では、驚異的な平均26.02%の精度向上を示し、低精度領域における有効性を裏付けた。
• チャネル単位の量子化からレイヤー単位の量子化への切り替えにより、ブリッジブロックにおけるゼロポイントオーバーフローが効果的に抑制された。
• ヒストグラム分析により、ブリッジブロックでレイヤー単位の量子化を適用した場合、実際のアクティベーションと量子化されたアクティベーションの重複度が、チャネル単位の量子化よりも顕著に向上することが確認された。
• キャリブレーションデータサイズを32枚から128枚に増やしても精度にほとんど影響がないことが実験で示され、Q-HyViTが小規模キャリブレーションセットに対しても頑健であることが裏付けられた。
• ゼロポイントオーバーフローによる精度低下は、特に小規模モデル（例：MobileViTv1-xxs）で顕著であるが、ブリッジブロックでのレイヤー単位の量子化により効果的に低減され、8ビット精度でも最小限の性能低下に抑えられた。

Figure 2: Discrepancy in activation ranges between the calibration and validation datasets in 1st bridge block of MobileViTv2-100