[論文レビュー] Sensor Fusion using Backward Shortcut Connections for Sleep Apnea Detection in Multi-Modal Data

Tom Van Steenkiste, Dirk Deschrijver+1 more|arXiv (Cornell University)|Dec 14, 2019

Obstructive Sleep Apnea Research参考文献 26被引用数 12

ひとこと要約

本稿では、呼吸、心電図、酸素飽和度のマルチモodalな生理的信号を用いた深層学習ベースの睡眠時低炭素血症検出の性能向上を目的として、後向きショートカット接続（BFM-SC）を用いた新規な遅延センサーフュージョン手法を提案する。遅延フュージョングレード層から個々のセンサーブランチにまで勾配が流れ込むようにすることで、単一センサーや早期フュージョングレード、標準的な遅延フュージョングレード手法に比べ、モデルの性能と耐障害性が顕著に向上し、CNNおよびLSTMアーキテクチャの両方でSHHS-1データセットにおいて最先端のAUCおよびF1スコアを達成した。

ABSTRACT

Sleep apnea is a common respiratory disorder characterized by breathing pauses during the night. Consequences of untreated sleep apnea can be severe. Still, many people remain undiagnosed due to shortages of hospital beds and trained sleep technicians. To assist in the diagnosis process, automated detection methods are being developed. Recent works have demonstrated that deep learning models can extract useful information from raw respiratory data and that such models can be used as a robust sleep apnea detector. However, trained sleep technicians take into account multiple sensor signals when annotating sleep recordings instead of relying on a single respiratory estimate. To improve the predictive performance and reliability of the models, early and late sensor fusion methods are explored in this work. In addition, a novel late sensor fusion method is proposed which uses backward shortcut connections to improve the learning of the first stages of the models. The performance of these fusion methods is analyzed using CNN as well as LSTM deep learning base-models. The results demonstrate a significant and consistent improvement in predictive performance over the single sensor methods and over the other explored sensor fusion methods, by using the proposed sensor fusion method with backward shortcut connections.

研究の動機と目的

• 睡眠技術者の不足や診断までの待ち時間が長いという臨床的課題に対処するため。
• 腹部および胸部の呼吸ベルト、心拍数、SpO2といった複数の生理的信号を統合することで、単一センサーモデルを越えた自動睡眠時低炭素血症検出を向上させるため。
• 後向きショートカット接続を用いて、遅延フュージョングレードアーキテクチャにおける学習を強化する新規なセンサーフュージョングレードフレームワークを開発するため。
• 異なるアーキテクチャにわたる安定した性能を確保するため、CNNおよびLSTMの両方の深層学習モデルを用いて提案手法を検証するため。
• 残留接続を介して各センサーごとの性能監視を可能にすることで、モデルの解釈可能性を向上させるため。

提案手法

• 各センサーデータが別々のブランチネットワークで処理された後、最終層で特徴量を統合する遅延フュージョングレードアーキテクチャを提案する。
• 最終フュージョングレード層からの勾配が、各センサーブランチの初期層にまで戻るように、後向きショートカット接続（BFM-SC）を導入し、トレーニングの安定性と特徴量学習を向上させる。
• 残留接続スタイルのスイープ接続を採用し、トレーニング時には有効だが、推論時には削除可能であり、モデルの解釈可能性を保持する。
• CNNベースのモデルではグローバル平均プーリング（GAP）とドロップアウト層を、LSTMベースのモデルでは双方向LSTM層を用いて時系列特徴抽出を実施する。
• 比較のためのベースラインとして、入力統合戦略を除き同一のモデルアーキテクチャを用いた早期統合（MIM）および単一入力モデル（SIM）を採用する。
• 5つの重複のないデータセット上で、性能および耐障害性の向上を統計的に検証するために、ペアドt検定および非等分散t検定を適用する。

実験結果

リサーチクエスチョン

• RQ1 遅延フュージョングレードフレームワークに後向きショートカット接続を適用することで、マルチモダリティ生理的信号を用いた睡眠時低炭素血症検出の深層学習モデルの予測性能が顕著に向上するか？
• RQ2 提案手法BFM-SCは、単一センサーモデル、早期統合、標準的な遅延統合手法と比較して、性能および耐障害性に優れているか？
• RQ3 後向きショートカット接続が、各センサーごとの性能監視を可能にすることで、どの程度モデルの解釈可能性を向上させられるか？
• RQ4 BFM-SC手法は、CNNやLSTMといった異なる深層学習アーキテクチャにおいても一貫した性能向上を示すか？
• RQ5 異なる睡眠時低炭素血症データセットおよびマルチセンサーカン figure に応用した場合、BFM-SC手法の汎用性はどの程度か？

主な発見

• BFM-SC手法は、CNNおよびLSTM両モデルにおいて、単一入力モデル（SIM）、早期統合（MIM）、標準的な遅延統合（BFM）を含むすべてのベースライン手法に対して、統計的に有意な性能向上（p < 0.05）を達成した。
• CNNベースのモデルでは、BFM-SCがAUC 0.938、F1スコア 0.812を達成し、最高性能のSIM（abdores）のAUC 0.914、F1 0.778を上回った。
• LSTMベースのモデルでは、BFM-SCがAUC 0.941、F1スコア 0.821を達成し、最高性能のSIM（thorres）のAUC 0.923、F1 0.795を上回った。
• 統計的有意性検定により、5つのデータセットすべてにおいて、BFM-SCが性能（p < 0.05）および耐障害性（p < 0.05）の両面で一貫してすべてのベースラインを上回ることが確認された。
• BFM-SCアーキテクチャの個々のブランチは、別々に訓練されたSIMモデルと同等の性能を達成しており、各センサーモダリティごとの効果的かつ安定した学習が可能であることが示された。
• 後向きショートカット接続により、各センサーごとの予測ヘッドを可能にし、最終意思決定に最も寄与した信号を特定するインサイトを提供する解釈可能な出力を実現した。