[論文レビュー] Multi-Task Temporal Shift Attention Networks for On-Device Contactless Vitals Measurement

Xin Liu, Josh Fromm+2 more|arXiv (Cornell University)|Jun 6, 2020

Non-Invasive Vital Sign Monitoring参考文献 38被引用数 150

ひとこと要約

本論文は MTTS-CAN を紹介する。オンデバイスの動画ベース手法で、時系列シフト注意機構を用いて心拍数と呼吸を同時にリアルタイムに推定し、ARM CPU 上で高 FPS かつ最先端精度を達成する。

ABSTRACT

Telehealth and remote health monitoring have become increasingly important during the SARS-CoV-2 pandemic and it is widely expected that this will have a lasting impact on healthcare practices. These tools can help reduce the risk of exposing patients and medical staff to infection, make healthcare services more accessible, and allow providers to see more patients. However, objective measurement of vital signs is challenging without direct contact with a patient. We present a video-based and on-device optical cardiopulmonary vital sign measurement approach. It leverages a novel multi-task temporal shift convolutional attention network (MTTS-CAN) and enables real-time cardiovascular and respiratory measurements on mobile platforms. We evaluate our system on an Advanced RISC Machine (ARM) CPU and achieve state-of-the-art accuracy while running at over 150 frames per second which enables real-time applications. Systematic experimentation on large benchmark datasets reveals that our approach leads to substantial (20%-50%) reductions in error and generalizes well across datasets.

研究の動機と目的

• 遠隔医療やリモートモニタリングのための非接触バイタルサイン測定の動機付け、感染リスクの低減と誰もが利用できるケアの実現。
• 心血管系と呼吸信号を同時に推定するオンデバイスのリアルタイムモデルの開発。
• カメラベースのバイタル測定におけるプライバシー、携帯性、精度の制約に対処。
• 公開データセットと ARM ハードウェア上での最先端の精度と高い推論速度を実証。

提案手法

• オンデバイスのバイタル測定のためのマルチタスク時系列シフト畳み込み注意ネットワーク MTTS-CAN の提案。
• 3D畳み込みを用いずに時系列ダイナミクスをモデル化するための時系列シフトモジュールを組み込み、信号を含む領域に焦点を合わせる注意機構を導入。
• 血液量脈波(BVP)と呼吸信号を同時推定するマルチタスク損失を使用。
• アーキテクチャを 2D-CAN、3D-CAN、Hybrid-CAN のベースラインと比較し、ARM ベースの Firefly-RK3399 プラットフォーム上で TVM を用いたオンデバイスのレイテンシを評価。
• Shafer の二色反射モデル（Dichromatic Reflection Model）に基づく光学モデルを用いてRGB動画をBVPおよび呼吸信号に関連付ける。
• 見た目と運動ブランチを用いた前処理、外観のフレーム平均化とフレーム差ベースの運動特徴を含む。

実験結果

リサーチクエスチョン

• RQ1 時系列シフトベースのオンデバイスネットワークは顔動画から心拍と呼吸信号を正確に推定できるか？
• RQ2 注意機構を時系列シフト枠組みに組み込むことでノイズ（動き・照明）条件下の信号抽出が改善されるか？
• RQ3 心拍と呼吸の間で中間表現をマルチタスクで共有することは精度と効率にどのように影響するか？
• RQ4 異なるアーキテクチャ変種における ARM ハードウェア上の MTTS-CAN のオンデバイス遅延とメモリ要件はどの程度か？
• RQ5 異なる解像度・背景・照明を持つデータセット間で提案モデルはどれだけ一般化できるか？

主な発見

• MTTS-CAN は AFRL データセットと MMSE-HR データセットにおいて心拍測定および呼吸推定における最先端の精度を達成。
• TS-CAN の派生モデルはベースラインと比較して推論を高速化（フレームあたり 6-12 ms まで低下）し、リアルタイム性能を実現。
• マルチタスク TS-CAN (MTTS-CAN) は計算量とメモリを約50％削減しつつ、単一タスクモデルと比較して精度を維持。
• 時系列モデル（MTTS-CAN、TS-CAN、Hybrid-CAN、3D-CAN）は 2D-CAN および他のベースラインを上回り、特に頭部動作が大きい場合に優れる。
• データセット横断評価では 25-50% の誤差削減を示し、MTTS-CAN および MT-Hybrid-CAN が強い一般化性能を示す。