[논문 리뷰] tSPM+; a high-performance algorithm for mining transitive sequential patterns from clinical data

Jonas Hügel, Ulrich Sax외 2명|arXiv (Cornell University)|2023. 09. 08.

Data Mining Algorithms and ApplicationsComputer Science인용 수 3

한 줄 요약

tSPM+는 시간적 순서 패턴 마이닝을 확장하여 패턴에 지속시간을 통합함으로써 고성능을 달성하는 알고리즘으로, tSPM 대비 최대 980배의 속도 향상과 48배의 메모리 사용 감소를 기록한다. 이는 임상 데이터에서 이행성의 지속시간 인식 패턴을 효율적으로 탐지할 수 있게 하며, WHO에서 정의한 증상 기반으로 Post-COVID-19 환자를 식별하는 데에 적용되었다.

ABSTRACT

The increasing availability of large clinical datasets collected from patients can enable new avenues for computational characterization of complex diseases using different analytic algorithms. One of the promising new methods for extracting knowledge from large clinical datasets involves temporal pattern mining integrated with machine learning workflows. However, mining these temporal patterns is a computational intensive task and has memory repercussions. Current algorithms, such as the temporal sequence pattern mining (tSPM) algorithm, are already providing promising outcomes, but still leave room for optimization. In this paper, we present the tSPM+ algorithm, a high-performance implementation of the tSPM algorithm, which adds a new dimension by adding the duration to the temporal patterns. We show that the tSPM+ algorithm provides a speed up to factor 980 and a up to 48 fold improvement in memory consumption. Moreover, we present a docker container with an R-package, We also provide vignettes for an easy integration into already existing machine learning workflows and use the mined temporal sequences to identify Post COVID-19 patients and their symptoms according to the WHO definition.

연구 동기 및 목표

• 대규모 임상 데이터셋에서 기존 시간적 패턴 마이닝 알고리즘의 계산 비효율성과 높은 메모리 사용을 해결하기 위해.
• tSPM 알고리즘을 확장하여 순서 패턴에 지속시간을 통합함으로써 더 의미 있는 임상적 시간적 관계를 포착하기 위해.
• 실제 임상 머신러닝 워크플로우에 적용 가능한 확장성과 성능을 향상시키기 위해.
• Post-COVID-19와 같은 복잡한 질환 표현형과 연결된 이행성의 지속시간 기반 패턴을 실용적으로 탐지할 수 있도록 하기 위해.

제안 방법

• 순서 패턴에 지속시간 제약 조건을 추가함으로써 tSPM 알고리즘을 개선하여 이행성의 시간 간격 인식 패턴을 마이닝할 수 있도록 한다.
• 메모리 사용량을 줄이고 패턴 열거를 가속화하기 위해 최적화된 데이터 구조와 색인을 도입한다.
• 중복 계산을 방지하고 런타임을 향상시키기 위해 가지치기 히وري스틱을 적용한 깊이 우선 탐색 전략을 활용한다.
• 기존 머신러닝 파이프라인에 원활하게 통합될 수 있도록 R 패키지와 Docker 컨테이너를 포함한 모듈러 소프트웨어 스택을 구현한다.
• 후보 패턴을 효율적으로 표현하고 탐색하기 위해 접두어 트리(Patricia 트리) 구조를 사용한다.
• 임상 데이터셋 기반 벤치마킹을 통해 tSPM와의 실행 시간 및 메모리 소비를 비교함으로써 성능를 검증한다.

실험 결과

연구 질문

• RQ1 순서 패턴에 지속시간을 통합함으로써 임상 데이터에서 시간적 패턴 마이닝의 효율성과 확장성에 상당한 향상이 이루어지는가?
• RQ2 tSPM+는 실행 시간과 메모리 사용 측면에서 원래의 tSPM 알고리즘에 비해 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ3 지속시간 인식 순서 패턴은 Post-COVID-19와 같이 임상적으로 관련성이 높은 표현형을 효과적으로 식별할 수 있는가?
• RQ4 tSPM+는 기존의 머신러닝 워크플로우에 임상 데이터 분석을 위해 얼마나 잘 통합되는가?
• RQ5 지속시간을 고려한 이행성 패턴 마이닝은 발견된 패턴의 해석 가능성과 임상적 관련성에 어떤 영향을 미치는가?

주요 결과

• tSPM+는 벤치마크 임상 데이터셋에서 원래의 tSPM 알고리즘 대비 최대 980배의 속도 향상을 기록한다.
• 메모리 소비는 최대 48배 감소하여 대규모 임상 데이터에 대한 확장성 향상에 기여한다.
• 패턴에 지속시간을 통합함으로써 WHO에서 정의한 증상과 연결된 임상적으로 의미 있는 이행성 시퀀스를 탐지할 수 있었다.
• 알고리즘은 환자 집단에서 장기적인 바이러스 후 상태와 관련된 시간적 증상 패턴을 성공적으로 식별했다.
• 통합된 가이드라인을 포함한 Docker화된 R 패키지는 기존 머신러닝 및 임상 데이터 분석 파이프라인에 간편하게 배포하고 통합할 수 있도록 한다.
• 다양한 임상 데이터 워크로드에서 일관된 성능 향상이 관찰되어 알고리즘이 강건하고 일반화 가능함을 입증한다.