[論文レビュー] RPIQ: Residual-Projected Multi-Collaboration Closed-Loop and Single Instance Quantization for Visually Impaired Assistance

Xuanyu Wang, Haisen Su+10 more|arXiv (Cornell University)|Jan 6, 2026

Multimodal Machine Learning Applications被引用数 0

ひとこと要約

RPIQ は、単一インスタンスのヘッセ行列ベースの較正を用いたブロック単位・多ラウンド残差補償量子化フレームワークを導入し、大規模モデルを 4-bit 量子化可能にする。性能を保ちながら視覚障害者向け支援タスクのメモリ削減を大幅に実現。

ABSTRACT

Visually impaired users face significant challenges in daily information access and real-time environmental perception, and there is an urgent need for intelligent assistive systems with accurate recognition capabilities. Although large-scale models provide effective solutions for perception and reasoning, their practical deployment on assistive devices is severely constrained by excessive memory consumption and high inference costs. Moreover, existing quantization strategies often ignore inter-block error accumulation, leading to degraded model stability. To address these challenges, this study proposes a novel quantization framework -- Residual-Projected Multi-Collaboration Closed-Loop and Single Instance Quantization(RPIQ), whose quantization process adopts a multi-collaborative closed-loop compensation scheme based on Single Instance Calibration and Gauss-Seidel Iterative Quantization. Experiments on various types of large-scale models, including language models such as OPT, Qwen, and LLaMA, as well as vision-language models such as CogVLM2, demonstrate that RPIQ can compress models to 4-bit representation while significantly reducing peak memory consumption (approximately 60%-75% reduction compared to original full-precision models). The method maintains performance highly close to full-precision models across multiple language and visual tasks, and exhibits excellent recognition and reasoning capabilities in key applications such as text understanding and visual question answering in complex scenarios. While verifying the effectiveness of RPIQ for deployment in real assistive systems, this study also advances the computational efficiency and reliability of large models, enabling them to provide visually impaired users with the required information accurately and rapidly.

研究の動機と目的

• 視覚障害支援に用いられる大規模モデルの量子化の安定性と精度を向上させる。
• ブロックごとに採用される GPTQ 系量子化スタイルの量子化で生じるブロック間誤差蓄積を緩和する。
• 量子化時の較正データ依存性とメモリフットプリントを削減する。
• 再訓練を行わず、リソース制約のある支援デバイス上で大規模モデルのデプロイを可能にする。
• 言語モデル（OPT, Qwen, LLaMA）とビジョン言語モデル（CogVLM2）で方法を実演し、性能を保持する。

提案手法

• 相互に協調的な閉ループ補償をブロックベースで採用し、ブロック間の誤差蓄積を緩和する残差を用いる。
• ステージ1は GPTQ スタイルの局所最適化に従い、ヘッセ情報に基づく初期ブロック量子化を取得する。
• ステージ2は多ラウンドの Gauss-Seidel に類似した残差駆動の更新を、インメモリのグローバルヘッセを用いてブロックを洗練する。
• 前処理済みのグローバルヘッセを保持し、最終の較正バッチのみを洗練ステージで使用する単一インスタンス較正パラダイムを導入する。
• ブロック更新を安定化させるためのステップサイズ α を用いた線形更新スキームを提供する。
• 較正データのリロードを行わず、瞬時のヘッセ曲率再構成を活用して各ブロックの量子化を導く。

Figure 1 : Block based multi-collaborative closed-loop compensation.

実験結果

リサーチクエスチョン

• RQ1 residual-driven な多重協調補償は、従来のワンショット型ブロック量子化と比較してブロック間量子化誤差の蓄積を低減できるか。
• RQ2 瞬時のヘッセ曲率に基づく単一インスタンス較正は、グローバルな2次情報を保持しつつ全ての較正データの再ロードを回避できるか。
• RQ3 RPIQ は大規模言語モデルとビジョン言語モデルを 4-bit 表現にどれだけうまく圧縮し、視覚障害支援タスクに関連する性能を維持できるか。
• RQ4 提案手法がリソース制約のある支援端末でどの程度のメモリ・実行時の利点をもたらすか。

主な発見

• RPIQ は 4-bit 量子化を達成し、ピークメモリを全浮動小数点モデルと比較して約 60-75%削減する。
• 方法は、複数の言語タスクと視覚タスクで全浮動ポイントモデルに極めて近い性能を維持する。
• ブロックレベルの残差協調は大規模モデルにおけるブロック間誤差蓄積を効果的に緩和する。
• 単一インスタンス較正はグローバルな2次情報を再読込せずに保持し、効率を改善する。
• Gauss-Seidel 型の反復量子化は、支援シナリオにおいて大規模モデルの堅牢かつ高速な収束を提供する。

Figure 2 : Single instance calibration paradigm.