[論文レビュー] BigSmall: Efficient Multi-Task Learning for Disparate Spatial and Temporal Physiological Measurements

Girish Narayanswamy, Yujia Liu+5 more|arXiv (Cornell University)|Mar 21, 2023

Optical Imaging and Spectroscopy TechniquesMedicine被引用数 3

ひとこと要約

BigSmallは、ビデオからの顔の動き、心拍活動、呼吸の同時遠隔測定を統合的かつ効率的なマルチタスク深層学習アーキテクチャとして提案する。高分解能の『Big』ブランチで空間的詳細を捉え、低分解能の『Small』ブランチにワラッピング時系列シフトモジュール（WTSM）を組み合わせることで、時間的ダイナミクスを効果的に扱い、タスク特化型モデルと比較して60％以上の計算効率向上を達成しつつ、最先端の精度を実現した。

ABSTRACT

Understanding of human visual perception has historically inspired the design of computer vision architectures. As an example, perception occurs at different scales both spatially and temporally, suggesting that the extraction of salient visual information may be made more effective by paying attention to specific features at varying scales. Visual changes in the body due to physiological processes also occur at different scales and with modality-specific characteristic properties. Inspired by this, we present BigSmall, an efficient architecture for physiological and behavioral measurement. We present the first joint camera-based facial action, cardiac, and pulmonary measurement model. We propose a multi-branch network with wrapping temporal shift modules that yields both accuracy and efficiency gains. We observe that fusing low-level features leads to suboptimal performance, but that fusing high level features enables efficiency gains with negligible loss in accuracy. Experimental results demonstrate that BigSmall significantly reduces the computational costs. Furthermore, compared to existing task-specific models, BigSmall achieves comparable or better results on multiple physiological measurement tasks simultaneously with a unified model.

研究の動機と目的

• 顔の動き、心拍活動、呼吸といった異なる生理的信号を、ビデオ入力のみで同時に予測できる統合的深層学習モデルの開発。
• 異なる空間的・時間的スケールを有する生理的信号の間で、効率的なマルチタスク学習が妨げられる課題への対処。
• タスク最適化モデルと比較して、計算コストを低減しながら精度を維持または向上させる。
• 性能を保持したまま効率性を向上させる特徴統合戦略の検討。
• 効率的なアーキテクチャ設計により、マルチモodalな生理的センシングをリアルタイムでデバイス上に実装可能にする。

提案手法

• モデルは二重ブランチアーキテクチャを採用：『Big』ブランチは高分解能入力を用い、顔の動きの微細な空間的特徴を捉える。一方、『Small』ブランチは低分解能入力を用い、空間的ノイズを圧縮し、時間的ダイナミクスに注目する。
• 『Small』ブランチでは、時系列特徴をフレーム間で巡回的にシフトするワラッピング時系列シフトモジュール（WTSM）を採用。これにより、限られたフレーム数でも時間的文脈を保持でき、ゼロパディングによる特徴の劣化を回避する。
• WTSMは、フレーム数が少ない状況に特化して設計されており、標準的なゼロパディング時系列シフトモジュールは、過剰なゼロ値の影響で性能が低下するが、WTSMはその問題を回避する。
• 特徴統合は低レベル特徴ではなく、高レベル表現で実施。実証的に、最小限の計算オーバーヘッドで高い精度を達成できる。
• 顔の動き単位（AUs）、光容積脈波計測（PPG）、呼吸の各タスクの目的関数を統合した損失関数を用いて、エンドツーエンドで学習。
• 計算効率を最適化するため、空間的・時間的スケールを混合して使用。これにより、ベースラインのマルチタスクモデルと比較して、FLOPsを60％以上削減した。

実験結果

リサーチクエスチョン

• RQ1 1つの深層学習モデルが、空間的・時間的特性が異なる複数の生理的信号を、ビデオ入力からのみ効果的かつ効率的に予測できるか？
• RQ2 低レベル特徴ではなく高レベル表現での特徴統合が、マルチタスク生理的測定において、精度と効率性の両面で優れているか？
• RQ3 低フレームレートの状況（リモート生理的センシングに一般的）において、ワラッピング時系列シフトモジュール（WTSM）が標準的な時系列シフトモジュールを上回る性能を示せるか？
• RQ4 タスク最適化モデルと比較して、微調整なしに、顔の動き、脈拍、呼吸の多様な生理的信号に一般化できる程度はどの程度か？
• RQ5 マルチタスク生理的ビデオ解析において、二重ブランチ設計と混合空間的・時間的スケール処理を組み合わせることで、どの程度の計算効率の向上が達成できるか？

主な発見

• BigSmallは、顔の動き単位認識、脈拍推定、呼吸数推定の3つのタスクにおいて、ベースラインのマルチタスクモデルと比較して60％以上の計算コスト削減を達成しながら、最先端の精度を実現した。
• 高レベル表現での特徴統合は、低レベル統合と比較して精度の損失がほとんどない一方で、顕著な効率性の向上を実現した。
• ワラッピング時系列シフトモジュール（WTSM）は、フレーム数が少ない状況で、標準的なゼロパディング時系列シフトモジュールを上回る性能を示した。後者は過剰なゼロ値の影響を強く受ける。
• 1つのモodalで事前学習し、他のモダリティで微調整する手法は、性能が劣る傾向にあり、BigSmallのような統合的マルチタスクアーキテクチャの必要性を浮き彫りにした。
• モデルは、追加のセンサーやモダリティ特化型アーキテクチャを一切必要とせず、ビデオ入力のみで多様な生理的信号に強く一般化できることが示された。