[논문 리뷰] Process Progress Estimation and Phase Detection.

Xinyu Li, Yanyi Zhang외 8명|arXiv (Cornell University)|2017. 02. 28.

Time Series Analysis and Forecasting인용 수 1

한 줄 요약

이 논문은 순차적 프로세스에서 프로세스 완료도를 추정하고 단계를 탐지하며 잔여 시간을 예측하기 위해 다중모달 딥 러닝과 새로운 딥 리그레션 아키텍처를 사용하는 실시간 센서 기반 시스템을 제시한다. 외상 복구 과정에서는 86% 이상의 단계 탐지 정확도와 12.6% 이하의 완료도 추정 오차를 달성했고, 올림픽 수영 대회에서는 88%의 정확도와 6.3%의 추정 오차를 기록했다.

ABSTRACT

Process modeling and understanding are fundamental for advanced human-computer interfaces and automation systems. Most recent research has focused on activity recognition, but little has been done on sensor-based detection of process progress. We introduce a real-time, sensor-based system for modeling, recognizing and estimating the progress of a work process. We implemented a multimodal deep learning structure to extract the relevant spatio-temporal features from multiple sensory inputs and used a novel deep regression structure for overall completeness estimation. Using process completeness estimation with a Gaussian mixture model, our system can predict the phase for sequential processes. The performance speed, calculated using completeness estimation, allows online estimation of the remaining time. To train our system, we introduced a novel rectified hyperbolic tangent (rtanh) activation function and conditional loss. Our system was tested on data obtained from the medical process (trauma resuscitation) and sports events (Olympic swimming competition). Our system outperformed the existing trauma-resuscitation phase detectors with a phase detection accuracy of over 86%, an F1-score of 0.67, a completeness estimation error of under 12.6%, and a remaining-time estimation error of less than 7.5 minutes. For the Olympic swimming dataset, our system achieved an accuracy of 88%, an F1-score of 0.58, a completeness estimation error of 6.3% and a remaining-time estimation error of 2.9 minutes.

연구 동기 및 목표

• 순차 워크플로우에서 프로세스 진행 상황을 모델링하고 실시간으로 추정하는 센서 기반 시스템을 개발하기 위해.
• 활동 인식에 비해 상대적으로 덜 다뤄진 센서 기반 프로세스 진행 상황 탐지의 격차를 보완하기 위해.
• 완료도 추정을 기반으로 한 온라인 잔여 시간 추정을 통해 자동화 및 인간-컴퓨터 상호작용을 향상시키기 위해.
• 외상 복구 및 올림픽 수영과 같은 복잡하고 시간 민감도가 높은 프로세스에서 단계 탐지 정확도와 완료도 추정을 향상시키기 위해.

제안 방법

• 다양한 감각 입력에서 시간-공간적 특징을 추출하기 위해 다중모달 딥 러닝 구조를 활용한다.
• 전체 프로세스 완료도 추정을 위해 새로운 딥 리그레션 네트워크를 사용한다.
• 프로세스 완료도 추정과 결합된 가우시안 믹스처 모델을 사용해 순차적 프로세스의 단계 전환을 예측한다.
• 학습 및 모델 성능 향상을 위해 수정된 hyperbolic tangent (rtanh) 활성화 함수와 조건부 손실을 도입한다.
• 계산된 완료도와 진행 속도를 기반으로 온라인으로 잔여 시간을 추정할 수 있도록 시스템을 설계한다.
• 실제 외상 복구 및 올림픽 수영 대회 데이터를 기반으로 프레임워크의 강건성과 정확도를 검증한다.

실험 결과

연구 질문

• RQ1 외상 복구 및 올림픽 수영과 같은 순차적 프로세스에서 센서 기반 시스템이 단계를 얼마나 정확하게 탐지할 수 있는가?
• RQ2 딥 러닝 기반 완료도 추정 모델의 실시간 프로세스 진행 상황 예측 성능은 어떠한가?
• RQ3 완료도 및 진행 속도 지표를 사용해 시스템이 신뢰할 수 있는 잔여 시간 추정을 달성할 수 있는가?
• RQ4 제안된 rtanh 활성화 함수와 조건부 손실은 기존 접근 방식에 비해 모델 학습 및 예측 정확도를 어떻게 향상시키는가?
• RQ5 이 시스템은 다양한 고위험 순차적 프로세스에 대해 얼마나 일반화 가능한가?

주요 결과

• 외상 복구 데이터셋에서 시스템은 86.1%의 단계 탐지 정확도를 기록했으며, F1 점수는 0.67이었다.
• 외상 복구의 경우 완료도 추정 오차는 12.6% 이하였고, 올림픽 수영의 경우 6.3% 이하였다.
• 외상 복구의 경우 잔여 시간 추정 오차는 7.5분 이내였고, 올림픽 수영의 경우 2.9분 이내였다.
• 시스템은 기존의 외상 복구 단계 탐지기보다 단계 탐지 정확도와 추정 신뢰성 측면에서 뛰어난 성능을 보였다.
• rtanh 활성화 함수와 조건부 손실의 도입은 학습 안정성 향상과 모델 성능 향상에 기여하였다.
• 의료 및 스포츠 프로세스를 포함한 다양한 도메인에서 시스템은 일관된 낮은 오차율을 기록하며 강력한 일반화 능력을 입증했다.