[論文レビュー] Neural Sentinel: Unified Vision Language Model (VLM) for License Plate Recognition with Human-in-the-Loop Continual Learning

Karthik Sivakoti|arXiv (Cornell University)|Feb 4, 2026

Vehicle License Plate Recognition被引用数 0

ひとこと要約

要約の直訳: LoRAで微調整されたPaliGemma 3Bを用いた統一ビジョン-言語モデル（VLM）によるALPRは、1パスでのプレート認識、状態分類、車両属性抽出を実現し、HITL継続学習とゼロショット補助タスク機能を備える。

ABSTRACT

Traditional Automatic License Plate Recognition (ALPR) systems employ multi-stage pipelines consisting of object detection networks followed by separate Optical Character Recognition (OCR) modules, introducing compounding errors, increased latency, and architectural complexity. This research presents Neural Sentinel, a novel unified approach that leverages Vision Language Models (VLMs) to perform license plate recognition, state classification, and vehicle attribute extraction through a single forward pass. Our primary contribution lies in demonstrating that a fine-tuned PaliGemma 3B model, adapted via Low-Rank Adaptation (LoRA), can simultaneously answer multiple visual questions about vehicle images, achieving 92.3% plate recognition accuracy, which is a 14.1% improvement over EasyOCR and 9.9% improvement over PaddleOCR baselines. We introduce a Human-in-the-Loop (HITL) continual learning framework that incorporates user corrections while preventing catastrophic forgetting through experience replay, maintaining a 70:30 ratio of original training data to correction samples. The system achieves a mean inference latency of 152ms with an Expected Calibration Error (ECE) of 0.048, indicating well calibrated confidence estimates. Additionally, the VLM first architecture enables zero-shot generalization to auxiliary tasks including vehicle color detection (89%), seatbelt detection (82%), and occupancy counting (78%) without task specific training. Through extensive experimentation on real world toll plaza imagery, we demonstrate that unified vision language approaches represent a paradigm shift in ALPR systems, offering superior accuracy, reduced architectural complexity, and emergent multi-task capabilities that traditional pipeline approaches cannot achieve.

研究の動機と目的

• パイプラインの複雑さと多段階システムから生じる誤差を減らすため、ALPRに対する統一VLMアプローチを動機づける。
• VLMを微調整することで、車両画像に関する複数の視覚質問に1回のフォワードパスで回答できることを示す。
• HITL継続学習フレームワークを導入し、ユーザー Corrections を取り込みつつ忘却を緩和する。
• 特定タスク訓練なしで、補助的車両タスクへのゼロショット一般化を実証する。

提案手法

• マルチタスクALPRのためにLoRAを用いてPaliGemma 3Bビジョン-ランゲージモデルを微調整する。
• 車両画像に関する複数の視覚質問に1回のフォワードパスで回答できるようモデルを有効化する。
• 経験再生を伴うHITL修正を組み込み、元の知識を保持し崩壊的忘却を防ぐ（訓練データ:修正データ＝70:30）。
• プレート認識の性能を測定し、高精度と較正済み信頼度（ECE）を目標とする。
• 追加タスク（車体色、シートベルト使用、占有車両数のカウントなど）へのゼロショット能力を、タスク特定訓練なしで評価する。

実験結果

リサーチクエスチョン

• RQ1 統一VLMは、単一のフォワードパスで多段パイプラインと比較して競争力のあるナンバープレート認識精度を達成できるか。
• RQ2 HITL継続学習と経験再生はALPRタスクにおいて効果的な生涯学習適応を実現できるか。
• RQ3 VLMは追加訓練なしでゼロショットの車両関連タスクへ一般化できるか。
• RQ4 統一VLMアプローチの現実世界の料金所画像におけるレイテンシと較正特性はどうか。

主な発見

• プレート認識精度は92.3%、EasyOCRを14.1ポイント、PaddleOCRを9.9ポイント上回る。
• 平均推論レイテンシ152 ms、期待較正誤差（ECE）0.048。
• HITL継続学習は元のデータと修正サンプルの70:30比率で prior knowledge を保持。
• 車体色検出89%、シートベルト検出82%、占有車両数検出78%を、タスク特定訓練なしでゼロショット一般化。