[논문 리뷰] Event Stream GPT: A Data Pre-processing and Modeling Library for Generative, Pre-trained Transformers over Continuous-time Sequences of Complex Events

Matthew B. A. McDermott, Bret Nestor외 2명|arXiv (Cornell University)|2023. 06. 20.

Machine Learning in Healthcare인용 수 9

한 줄 요약

ESGPT는 연속 시간(multimodal) 이벤트 스트림(예: EHR 데이터)을 대상으로 GPT 유사 모델을 구축할 수 있게 해주는 오픈 소스 라이브러리로, 엔드-투-엔드 데이터 추출, 전처리, 효율적인 딥러닝 표현, 제로샷 평가를 지원하는 HuggingFace 호환 모델링 API를 제공합니다.

ABSTRACT

Generative, pre-trained transformers (GPTs, a.k.a. "Foundation Models") have reshaped natural language processing (NLP) through their versatility in diverse downstream tasks. However, their potential extends far beyond NLP. This paper provides a software utility to help realize this potential, extending the applicability of GPTs to continuous-time sequences of complex events with internal dependencies, such as medical record datasets. Despite their potential, the adoption of foundation models in these domains has been hampered by the lack of suitable tools for model construction and evaluation. To bridge this gap, we introduce Event Stream GPT (ESGPT), an open-source library designed to streamline the end-to-end process for building GPTs for continuous-time event sequences. ESGPT allows users to (1) build flexible, foundation-model scale input datasets by specifying only a minimal configuration file, (2) leverage a Hugging Face compatible modeling API for GPTs over this modality that incorporates intra-event causal dependency structures and autoregressive generation capabilities, and (3) evaluate models via standardized processes that can assess few and even zero-shot performance of pre-trained models on user-specified fine-tuning tasks.

연구 동기 및 목표

• 연속 시간의 멀티모달 이벤트 스트림에서 GPT의 엔드-투-엔드 구성을 가능하게 한다.
• 최소한의 설정으로 기초 모델 규모의 입력 준비를 위해 다양한 대규모 데이터셋을 통합한다.
• 이벤트 내 의존성과 자기회귀 생성을 고려하는 Hugging Face 호환 모델링 API를 제공한다.
• 사용자 정의 작업에 대한 사전 학습된 모델의 few-shot 및 zero-shot 평가를 포함하는 표준화된 평가를 제공한다.

제안 방법

• 간결한 YAML 구성으로 다양한 소스의 데이터를 수집하는 오픈 소스 ESGPT 라이브러리를 제공한다.
• 데이터 추출 속도 향상과 저장 공간 축소를 위해 Polars 기반 전처리를 사용한다.
• 메모리 효율적이고 희소한 표현과 미리 구성된 임베딩 계층을 갖춘 PyTorch 데이터세트를 출력한다.
• 구성 가능한 의존성 그래프를 통해 이벤트 간 의존성을 포착하기 위해 두 가지 미리 정의된 모델 아키텍처(ConditionallyIndependent 및 NestedAttention)를 제공한다.
• 시간 인식 방출 및 다단계 생성을 지원하는 Hugging Face 호환 API를 모델 구성 및 생성을 위해 노출하고, 손실/샘플링을 위한 통합 출력 객체를 제공한다.

Figure 1 : ESGPT’s end-to-end data pipeline, which spans raw data extraction from source all the way to production of a PyTorch dataset and pre-built embedder suitable for use in any deep learning pipeline. (a) An example of our data modality; for a single subject $\boldsymbol{S}_{1}$ , the data con

실험 결과

연구 질문

• RQ1 이벤트 간 의존성을 가진 복합 이벤트의 연속 시간 시퀀스에 대해 GPT 스타일 모델을 어떻게 효과적으로 구축할 수 있을까?
• RQ2 ESGPT가 대규모 EHR 유사 데이터셋에 대해 빠르고 확장 가능한 데이터 전처리와 메모리 효율적인 표현을 제공할 수 있을까?
• RQ3 이벤트 스트림 데이터로 학습된 기초 모델에 대해 제로샷 평가가 실행 가능하고 정보가 풍부한가?
• RQ4 구성 가능한 이벤트 간 의존성 그래프가 생성 성능과 하위 작업 유용성에 어떤 영향을 미치는가?

주요 결과

• ESGPT는 대규모 이벤트 스트림 데이터 세트에 대해 엔드 투 엔드 전처리, 데이터셋 구성 및 임베딩을 가능하게 하며, 상당한 속도와 저장 효율성을 보여준다(예: 전체 300k 환자 MIMIC-IV 데이터세트를 1.2 GB로 전처리하는 데 약 30분 소요).
• 라이브러리는 관찰된 이벤트에 따라 확장되는 메모리 효율적이고 희소한 딥러닝 표현을 제공하며, 전체 피처 공간이 아니라 관찰된 이벤트에 맞춰 확장되어 MIMIC-IV 예시에서 전통적 방법에 비해 메모리 사용량을 약 1.3% 수준으로 줄인다.
• 두 가지 모델 아키텍처(ConditionallyIndependent 및 NestedAttention)는 사용자가 정의한 이벤트 간 의존성을 허용하여 다단계 공변량 관계를 존중하는 생성을 가능하게 한다.
• HF-호환 API를 통해 ESGPT 모델을 처음부터 또는 사전 학습된 소스에서 구축, 학습 및 생성할 수 있으며, 샘플링 및 손실을 위한 통합 출력 객체를 제공한다.
• ESGPT는 이벤트 스트림 작업에서 기초 모델의 방향성 평가를 위한 제로샷 평가 파이프라인과 하이퍼파라미터 최적화 및 모니터링 도구를 제공한다.