[논문 리뷰] Self-supervised Representation Learning on Electronic Health Records with Graph Kernel Infomax

Hao-Ren Yao, Nairen Cao외 4명|arXiv (Cornell University)|2022. 09. 01.

Machine Learning in Healthcare참고 문헌 45인용 수 4

한 줄 요약

이 논문은 전자 건강 기록(EHR)을 위한 자기지도 대비 학습 방법인 그래프 커널 인포맥스(GKI)를 제안한다. 이 방법은 그래프 구조를 수정하지 않고 커널 기반의 부분공간 증강을 사용하여 기하학적으로 다릅니다. 이는 임의의 임상 후행 작업에서 최고 성능을 기록하고, 임상 외 그래프 벤치마크로의 일반화 능력이 뛰어나며, 작업별 미세조정 없이도 강건성과 이식 가능성을 입증한다.

ABSTRACT

Learning Electronic Health Records (EHRs) representation is a preeminent yet under-discovered research topic. It benefits various clinical decision support applications, e.g., medication outcome prediction or patient similarity search. Current approaches focus on task-specific label supervision on vectorized sequential EHR, which is not applicable to large-scale unsupervised scenarios. Recently, contrastive learning shows great success on self-supervised representation learning problems. However, complex temporality often degrades the performance. We propose Graph Kernel Infomax, a self-supervised graph kernel learning approach on the graphical representation of EHR, to overcome the previous problems. Unlike the state-of-the-art, we do not change the graph structure to construct augmented views. Instead, we use Kernel Subspace Augmentation to embed nodes into two geometrically different manifold views. The entire framework is trained by contrasting nodes and graph representations on those two manifold views through the commonly used contrastive objectives. Empirically, using publicly available benchmark EHR datasets, our approach yields performance on clinical downstream tasks that exceeds the state-of-the-art. Theoretically, the variation on distance metrics naturally creates different views as data augmentation without changing graph structures.

연구 동기 및 목표

• 복잡한 시간적 특성과 레이블 부족으로 인해 EHR에서 비지도이고 일반화 가능한 환자 표현 학습의 과제를 해결하기 위해.
• 긴 고분산 EHR 시계열에서 데이터 증강으로 인한 시각의 모호성 문제를 해결하기 위해.
• 그래프 구조를 변경하지 않고도 의미론적 구조를 유지하는 증강 방법을 개발하기 위해.
• 작업별 미세조정 없이도 다양한 임상 작업에 적용 가능한 보편적이고 이식 가능한 환자 표현을 가능하게 하기 위해.
• 표준 그래프 벤치마크 데이터셋을 사용하여 임상 영역 외로의 일반화 능력을 검증하기 위해.

제안 방법

• 다른 커널 유도 거리 측정법을 사용하여 노드와 그래프를 두 개의 기하학적으로 다름 분리된 다양체에 매핑하는 커널 부분공간 증강을 제안한다.
• 그래프 커널 방법을 사용하여 EHR의 이질성과 시간적 동역학을 구조화된 그래픽 표현으로 압축한다.
• 두 개의 커널 유도 다양체 시각 간의 상호정보량을 최대화함으로써 대비 학습을 적용한다.
• 구조적 변형을 피하기 위해 두 개의 다른 기하학적 공간에서 노드 및 그래프 임베딩을 비교하는 대비 목표를 사용한다.
• 증강 과정에서 의사역행렬 계산을 위해 특이값 분해(SVD)를 활용하지만, 분석 결과 SVD 적용 시 성능 저하가 발생함을 확인하였다.
• 하위공간 군집을 위해 파라미터화된 랜드마크 선택(K)을 사용하며, 민감도 분석을 통해 K 값에 관계없이 안정적인 성능을 보였다.

실험 결과

연구 질문

• RQ1 커널 기반 기하 증강이 EHR 표현 학습에서 구조적 데이터 증강보다 성능이 뛰어나지 않는가?
• RQ2 데이터 증강 시 그래프 구조를 변경하지 않음으로써 긴 복잡한 EHR 시계열에서의 시각의 모호성을 줄일 수 있는가?
• RQ3 작업별 지도 학습 없이도 다양한 임상 후행 작업에서 최고 성능을 달성할 수 있는 자기지도 방법이 가능한가?
• RQ4 제안된 방법은 임상 외 그래프 벤치마크 데이터셋으로도 일반화 가능한가?
• RQ5 SVD와 의사역행렬 계산은 대비 프레임워크의 학습 동역학과 성능에 어떤 영향을 미치는가?

주요 결과

• GKI는 어떤 작업별 미세조정 없이도 치료 결과 예측 및 환자 유사도 검색과 같은 임상 후행 작업에서 최고 성능을 기록하였다.
• MIMIC-III 벤치마크에서 GKI는 InfoGraph 및 SimCLR를 포함한 기존의 대비 학습 및 자기지도 방법보다 매크로-F1 및 Precision@10 점수에서 모두 뛰어난 성능을 보였다.
• 비임상 그래프 벤치마크로의 일반화 능력이 뛰어나, 8개 표준 데이터셋 중 6개에서 최고 성능을 기록한 최신 그래프 대비 학습 방법을 초월하였다.
• 랜드마크 수 K가 증가할수록 성능 향상이 이루어지지만, 낮은 K 값에서도 안정적인 성능 유지로 인해 하이퍼파라미터 선택에 대한 강건성을 보였다.
• 분석 결과, 학습 중 SVD 적용 시 성능 저하가 발생하여 SVD가 특이값을 제로로 만들면서 학습 신호에 간섭함을 시사하였다.
• GNN 인코더의 종류에 관계없이 강력한 성능 유지가 가능했으며, GAT은 치료 예측에서 뛰어난 성능을 보였는데, 이는 주로 주목적 메커니즘이 복잡한 관계를 잘 포착하기 때문일 것이다.