[論文レビュー] Process Progress Estimation and Phase Detection.

Xinyu Li, Yanyi Zhang+8 more|arXiv (Cornell University)|Feb 28, 2017

Time Series Analysis and Forecasting被引用数 1

ひとこと要約

本稿では、マルチモーダルディープラーニングと新規のディープリグレッションアーキテクチャを用いたリアルタイムでセンサー駆動のシステムを提示しており、順次的プロセスにおけるプロセス進行度の推定、フェーズの検出、残り時間の予測を実現している。本システムは、対応する救命救急処置において86%以上のフェーズ検出精度と12.6%未満の進行度推定誤差を達成し、オリンピックスイミング競技では88%の精度と6.3%の推定誤差を示した。

ABSTRACT

Process modeling and understanding are fundamental for advanced human-computer interfaces and automation systems. Most recent research has focused on activity recognition, but little has been done on sensor-based detection of process progress. We introduce a real-time, sensor-based system for modeling, recognizing and estimating the progress of a work process. We implemented a multimodal deep learning structure to extract the relevant spatio-temporal features from multiple sensory inputs and used a novel deep regression structure for overall completeness estimation. Using process completeness estimation with a Gaussian mixture model, our system can predict the phase for sequential processes. The performance speed, calculated using completeness estimation, allows online estimation of the remaining time. To train our system, we introduced a novel rectified hyperbolic tangent (rtanh) activation function and conditional loss. Our system was tested on data obtained from the medical process (trauma resuscitation) and sports events (Olympic swimming competition). Our system outperformed the existing trauma-resuscitation phase detectors with a phase detection accuracy of over 86%, an F1-score of 0.67, a completeness estimation error of under 12.6%, and a remaining-time estimation error of less than 7.5 minutes. For the Olympic swimming dataset, our system achieved an accuracy of 88%, an F1-score of 0.58, a completeness estimation error of 6.3% and a remaining-time estimation error of 2.9 minutes.

研究の動機と目的

• 順次的ワークフローにおけるプロセス進行度のモデリングと推定を実現するリアルタイムでセンサー駆動のシステムの開発を目的とする。
• アクティビティ認識と比較して、まだ限定的な注目を受けていないセンサー駆動のプロセス進行度検出のギャップを埋める。
• 進行度推定に基づくオンラインでの残り時間推定を可能にすることで、自動化と人間-コンピュータインタラクションの向上を図る。
• 救命救急処置やオリンピックスイミングなど、複雑で時間に敏感なプロセスにおけるフェーズ検出精度と進行度推定の向上を目的とする。

提案手法

• 本システムは、複数の感覚入力からの空間的・時間的特徴を抽出するマルチモーダルディープラーニング構造を採用している。
• 全体のプロセス進行度推定に、新規のディープリグレッションネットワークを用いている。
• 進行度推定は、順次的プロセスにおけるフェーズ遷移予測のため、ガウス・ミックスチャネル・モデルと組み合わせられている。
• トレーニングとモデル性能の向上を図るため、修正された双曲正接（rtanh）活性化関数と条件付き損失が導入されている。
• 計算された進行度と進行速度に基づき、オンラインでの残り時間推定が可能である。
• 本フレームワークは、救命救急処置およびオリンピックスイミング競技の実世界データを用いて評価され、耐障害性と正確性の妥当性が検証された。

実験結果

リサーチクエスチョン

• RQ1 救命救急処置やオリンピックスイミングのような順次的プロセスにおいて、センサー駆動のシステムがフェーズをどれほど正確に検出できるか。
• RQ2 ディープラーニングベースの進行度推定モデルは、リアルタイムでのプロセス進行度予測においてどの程度の性能を示すか。
• RQ3 進行度と進行速度の指標を用いて、システムは信頼性の高い残り時間推定を達成できるか。
• RQ4 提案されたrtanh活性化関数と条件付き損失は、標準的手法と比較して、モデルのトレーニングと予測精度をどのように向上させるか。
• RQ5 本システムは、多様で高リスクな順次的プロセスに一般化可能か。

主な発見

• 本システムは、救命救急処置データセットにおいて86.1%のフェーズ検出精度を達成し、F1スコアは0.67であった。
• 進行度推定誤差は、救命救急処置で12.6%未満、オリンピックスイミングで6.3%未満であった。
• 残り時間推定誤差は、救命救急処置で7.5分未満、オリンピックスイミングで2.9分未満であった。
• 本システムは、既存の救命救急処置フェーズ検出器と比較して、フェーズ検出精度と推定信頼性の両面で優れていた。
• rtanh活性化関数と条件付き損失の導入により、トレーニングの安定性とモデル性能が向上した。
• 本システムは、医療およびスポーツプロセスを含む異なる分野にわたり、一貫した低誤差率を示す強力な一般化能力を示した。