[論文レビュー] TorR: Towards Brain-Inspired Task-Oriented Reasoning via Cache-Oriented Algorithm-Architecture Co-design

Hyunwoo Oh, SungHeon Jeong+5 more|arXiv (Cornell University)|Mar 24, 2026

Advanced Neural Network Applications被引用数 0

ひとこと要約

TorR は、密な CLIPスタイルの整列を超ハイディメンショナルな連想推論器とクエリキャッシュに置換し、リアルタイムかつエネルギー効率の高いエッジのタスク指向検出を実現する。5タスクで競争力のAP@0.5を維持しつつ、ミリジュール規模のエネルギーで30/60 FPSを達成。

ABSTRACT

Task-oriented object detection (TOOD) atop CLIP offers open-vocabulary, prompt-driven semantics, yet dense per-window computation and heavy memory traffic hinder real-time, power-limited edge deployment. We present \emph{TorR}, a brain-inspired \textbf{algorithm--architecture co-design} that \textbf{replaces CLIP-style dense alignment with a hyperdimensional (HDC) associative reasoner} and turns temporal coherence into reuse. On the \emph{algorithm} side, TorR reformulates alignment as HDC similarity and graph composition, introducing \emph{partial-similarity reuse} via (i) query caching with per-class score accumulation, (ii) exact $δ$-updates when only a small set of hypervector bits change, and (iii) similarity/load-gated bypass under high system load. On the \emph{architecture} side, TorR instantiates a lane-scalable, bit-sliced item memory with bank/precision gating and a lightweight controller that schedules bypass/$δ$/full paths to meet RT-30/RT-60 targets as object counts vary. Synthesized in a TSMC 28\,nm process and exercised with a cycle-accurate simulator, TorR sustains real-time throughput with millijoule-scale energy per window ($\approx$50\,mJ at 60\,FPS; $\approx$113\,mJ at 30\,FPS) and low latency jitter, while delivering competitive AP@0.5 across five task prompts (mean 44.27\%) within a bounded margin to strong VLM baselines, but at orders-of-magnitude lower energy. The design exposes deployment-time configurability (effective dimension $D'$, thresholds, precision) to trade accuracy, latency, and energy for edge budgets.

研究の動機と目的

• 窒素 edge対応のタスク指向検出を、オープンボキャブラリ意味論と厳格な電力/待ち時間予算の下で動機づける。
• dense CLIPスタイルの整列をブレインインスパイアのハイディメンショナル連想推論器に置換する。
• フレーム間の時間的一貫性を活用するための部分的な類似性再利用をキャッシュする。
• イベント駆動型エンコーダ、ビット分割メモリ、軽量コントローラを備えたハードウェア–ソフトウェア共設計で RT-30/RT-60 を達成する。
• エネルギー効率を維持しつつリアルタイム性能を示し、タスク精度を競争力のある水準に保つ。

提案手法

• イベント駆動型 SNN エンコーダが DVS イベントからクエリハイベクトル q を生成する。
• ハイディメンショナル計算 (HDC) が cos 似度を用いて q を概念ハイベクトル h_j のバンクと関連付ける。
• クエリキャッシュと部分的な類似性（デルタ）更新により、場面変化が小さい場合には前回の結果を再利用する。
• HDC グラフ推論器がタスク特有の重みを整列子スコアに適用して最終的なアイテムごとのスコアを生成する。
• FPS/ QoS コントローラがバンク/精度ゲーティングと組み合わせて、動的負荷下で 30/60 FPS を満たすようにゲートする。
• ハードウェアアクセラレータはデルタ/フル経路を備えたキャッシュゲート付き類似性カーネルと、軽量コントローラを実装する。

実験結果

リサーチクエスチョン

• RQ1 temporal reuse とキャッシュ誘導の部分更新は、エッジのタスク指向検出におけるデータ移動とエネルギーを削減できるか？
• RQ2 密な CLIPスタイルの整列を HDC ベースの連想推論器に置換すると、リアルタイム制約下で精度と待ち時間にどのような影響が出るか？
• RQ3 展開時のノブ（次元 D'、デルタ予算、精度、閾値）は、異なるシーンで精度、待ち時間、エネルギーをどのように最適化するか？
• RQ4 レーンスケーラブルでメモリ帯域に制約のあるアーキテクチャは、複数のプロンプトにわたりミリジュール規模のエネルギーで RT-30/RT-60 を維持できるか？
• RQ5 提案された共設計は、エッジ予算下での AP@0.5 において強力な VLM ベースラインと比較してどうか？
• RQ6 シーンダイナミクス（コヒーレンス対運動）とリソースゲーティングに対する性能感度はどの程度か？

主な発見

• TorR はウィンドウあたり 30/60 FPS をミリジュール規模のエネルギーで維持する（60 FPS 時は約 50 mJ、30 FPS 時は約 113 mJ）。
• 5 タスクの平均 AP@0.5 は 44.27%、強力な VLM ベースラインとの境界内のマージンで、エネルギーは著しく低い。
• 部分的な類似性再利用により、作業量を O(MD') から O(M|Δ|) に削減し、メモリトラフィックを低減。
• 積極的な再利用とキャッシュ誘導によるバイパスは、動的負荷下での待ち時間の予測性と小さなジッターを提供。
• ハードウェア合成（28 nm）では連想整列器が面積と電力の支配で、総実行時電力はピーク約 4.66 W、ゲーティングによる平均電力低減。
• RT ターゲットは全タスクで達成され、p95 待ち時間は予算内に収まり、シーンの再利用と動作に応じてフレーム当たりのエネルギーがスケール。