[論文レビュー] DeepMag: Source Specific Motion Magnification Using Gradient Ascent

Weixuan Chen, Daniel McDuff|arXiv (Cornell University)|Aug 9, 2018

Advanced Optical Sensing Technologies被引用数 11

ひとこと要約

DeepMag は勾配上昇と L1 正規化および符号補正を用いたエンドツーエンドの深層学習フレームワークを提案し、脈拍や呼吸などの微細な生理的信号を大規模な剛体的頭部運動下でも頑健に増幅可能にする。最先端手法と比較してアーチファクトを著しく低減し、動画品質を維持する。

ABSTRACT

Many important physical phenomena involve subtle signals that are difficult to observe with the unaided eye, yet visualizing them can be very informative. Current motion magnification techniques can reveal these small temporal variations in video, but require precise prior knowledge about the target signal, and cannot deal with interference motions at a similar frequency. We present DeepMag an end-to-end deep neural video-processing framework based on gradient ascent that enables automated magnification of subtle color and motion signals from a specific source, even in the presence of large motions of various velocities. While the approach is generalizable, the advantages of DeepMag are highlighted via the task of video-based physiological visualization. Through systematic quantitative and qualitative evaluation of the approach on videos with different levels of head motion, we compare the magnification of pulse and respiration to existing state-of-the-art methods. Our method produces magnified videos with substantially fewer artifacts and blurring whilst magnifying the physiological changes by a similar degree.

研究の動機と目的

• 既存のモーショントランスミッション手法が大規模な干渉運動下で失敗し、周波数の正確な知識を必要とするという限界を解消すること。
• 微細な色変化および動きの変化、特に生理的信号に対してエンドツーエンドでソース特異的な増幅を可能にすること。
• 大規模な剛体的運動に対して頑健で、視覚的品質を保持する勾配上昇に基づくフレームワークの開発。
• さまざまなレベルの頭部運動下での性能を体系的に評価し、最先端手法と比較すること。
• 本手法がぼやけやアーチファクトを引き起こさずに脈拍および呼吸信号を増幅できることを実証すること。

提案手法

• 本手法は、干渉運動から特定の信号源を分離するために、動画モーショントランスミッション識別器として深層畳み込みニューラルネットワーク（CNN）を用いる。
• ターゲット信号を増幅しつつ他のモーショントランスミッション成分を保持するため、CNNの入力空間で勾配上昇を実行する。
• すべての動画フレームにわたる一貫性のある増幅を保証するため、勾配に L1 正規化を適用する。
• 増幅中に運動方向が逆転するのを防ぐために、符号補正を導入し、ぼやけを低減する。
• フレームワークはエンドツーエンドで訓練可能であり、任意のソース特異的モーショントランスミッションまたは色変化に適応可能である。
• 動画品質および信号忠実度を定量化するために、PSNR および SSIM メトリクスを用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 深層学習に基づく勾配上昇法は、周波数の事前知識がなくても微細な生理的信号を効果的に増幅できるか？
• RQ2 脈拍や呼吸信号の増幅において、大規模な干渉的剛体的運動（例：頭部の動き）が存在する状況で、本手法はどのように性能を発揮するか？
• RQ3 L1 正規化および符号補正は、増幅動画におけるアーチファクトをどれほど低減し、視覚的品質を向上させるか？
• RQ4 定量的および定性的に、最先端のモーショントランスミッション技術と比較して、本手法はどのように差をつけるか？
• RQ5 本手法は、異なる周波数の生理的信号を同時に増幅および合成できるか？

主な発見

• DeepMag は、特に高レベルの剛体的運動下でも、最先端手法と比較して著しく低いアーチファクトレベルを達成する。
• さまざまな運動レベルにおいても、高い PSNR および SSIM 値を維持しており、優れた動画品質の保持を示している。
• L1 正規化により、勾配分布を入力モーショントランスミッション表現に一致させることで、フレーム単位の増幅の一貫性が確保される。
• 符号補正により、モーショントランスミッション増幅における負の相関が解消され、人体領域のぼやけが低減される。
• 学習曲線から、より小さなステップサイズとより多くの反復回数の方が、大きなステップサイズと少ない反復回数よりも、より効率的な増幅が得られると示された。
• 干渉運動が同様の周波数にある場合でさえも、本手法は脈拍（PPG）および呼吸信号を最小限の劣化で効果的に増幅できた。