[論文レビュー] When Smaller Wins: Dual-Stage Distillation and Pareto-Guided Compression of Liquid Neural Networks for Edge Battery Prognostics

Dhivya Dharshini Kannan, Wei Li+4 more|arXiv (Cornell University)|Jan 9, 2026

Advanced Battery Technologies Research被引用数 0

ひとこと要約

DLNetは高容量の液体ニューラルネットワークをデュアルステージ蒸留、オイラー法ベースの離散化、パレート指向の選択、剪定、量子化を通じてエッジ展開可能な学生モデルへ圧縮し、Arduino上でのSoH予測精度を維持しつつ大幅なサイズ・遅延削減を実現する。

ABSTRACT

Battery management systems increasingly require accurate battery health prognostics under strict on-device constraints. This paper presents DLNet, a practical framework with dual-stage distillation of liquid neural networks that turns a high-capacity model into compact and edge-deployable models for battery health prediction. DLNet first applies Euler discretization to reformulate liquid dynamics for embedded compatibility. It then performs dual-stage knowledge distillation to transfer the teacher model's temporal behavior and recover it after further compression. Pareto-guided selection under joint error-cost objectives retains student models that balance accuracy and efficiency. We evaluate DLNet on a widely used dataset and validate real-device feasibility on an Arduino Nano 33 BLE Sense using int8 deployment. The final deployed student achieves a low error of 0.0066 when predicting battery health over the next 100 cycles, which is 15.4% lower than the teacher model. It reduces the model size from 616 kB to 94 kB with 84.7% reduction and takes 21 ms per inference on the device. These results support a practical smaller wins observation that a small model can match or exceed a large teacher for edge-based prognostics with proper supervision and selection. Beyond batteries, the DLNet framework can extend to other industrial analytics tasks with strict hardware constraints.

研究の動機と目的

• BMS展開のためのデバイス内制約が厳しい状況で正確なバッテリ健康 prognostics を動機付ける。
• 高容量液体ニューラルネットワーク（LNN）を compact なエッジモデルへ変換する展開対応フレームワークを開発する。
• 量子化・離散化・蒸留・パレートベースのモデル選択・剪定を通じてエッジに適した推論を実現する。
• int8 展開を前提とした実機（ compact な Arduino ボード）での実用性を示す。

提案手法

• 高容量LNN教師モデルを訓練してバッテリSoHを長期予測する。
• 教師モデルの連続時間ダイナミクスをEuler離散化した学生に再構成してエッジ推論を可能にする。
• デュアルステージ蒸留を用いて学生が教師の挙動と実測ラベルの両方から学習する。
• 予測誤差とデプロイコストを天秤にかけるパレート指向の選択でエリートな学生を選択する。
• 選択した学生を剪定し、再蒸留を行い、再度パレート選択でエッジ展開を行う。
• 最終モデルをLiteRTへエクスポートし、オンデバイス推論のためにint8量子化を適用する。

実験結果

リサーチクエスチョン

• RQ1 高性能なLNN教師モデルをエッジ展開可能な学生に圧縮しても精度を失わないか。
• RQ2 Eulerベースの離散化とデュアルステージ蒸留は長期予測における重要な時間ダイナミクスを保持できるか。
• RQ3 パレート指向の選択はエッジ展開コスト（サイズ、遅延、エネルギー、CO2）と精度の適切なトレードオフを実現して実用的なモデルを生み出すか。
• RQ4 int8量子化モデルを用いた実機デプロイ（例：Arduino Nano 33 BLE Sense）を実現する実用的なワークフローはあるか。

主な発見

• DLNetは100サイクル先までのSoH予測でMAE 0.0066を達成し、教師モデルよりも15.4%低減。
• 最終的なデプロイ済み学生で精度を維持・向上させつつモデルサイズが616 kBから94 kBへ（84.7%削減）。
• 第一段階蒸留では小型のEulerベース学生が教師の精度に匹敵または上回ることがあり、サイズも大幅に削減（例：16次元Cosine-loss学生は教師サイズの約52%）。
• 第二段階の剪定と再蒸留によりさらなるサイズ削減と競争力のある精度を実現し、一部の疎結合設定で強いMAE/RMSEを維持しつつエネルギー/CO2を削減。
• パレートベースの選択は単一の最良モデルよりも誤差とコストのバランスをとる複数のエリート学生を識別する。
• 実機推論（Arduino Nano 33 BLE Sense）ではint8で約21 ms/推論を達成し、実用的なオンデバイスバッテリ予測を実現。