[논문 리뷰] Multi-Task Learning with Incomplete Data for Healthcare

Xin Jiang, Saba Emrani외 2명|arXiv (Cornell University)|2018. 07. 06.

Domain Adaptation and Few-Shot Learning참고 문헌 15인용 수 3

한 줄 요약

이 논문은 보건 분야의 응용에서 불완전한 데이터를 다루기 위해 플러그인 공분산 행렬 추정기와 함께 강력한 다중 작업 학습 프레임워크를 제안한다. 기존의 보정 방법으로 인한 편향을 피하기 위해 전통적인 보정 기법을 회피한다. 통합 최적화 내에서 LASSO와 그래프 정규화를 통합함으로써, 특히 높은 누락 데이터 비율에서 모델 추정 및 예측 정확도가 향상된다. 아밀로이드 뇌병증 진행 데이터를 통해 검증되었다.

ABSTRACT

Multi-task learning is a type of transfer learning that trains multiple tasks simultaneously and leverages the shared information between related tasks to improve the generalization performance. However, missing features in the input matrix is a much more difficult problem which needs to be carefully addressed. Removing records with missing values can significantly reduce the sample size, which is impractical for datasets with large percentage of missing values. Popular imputation methods often distort the covariance structure of the data, which causes inaccurate inference. In this paper we propose using plug-in covariance matrix estimators to tackle the challenge of missing features. Specifically, we analyze the plug-in estimators under the framework of robust multi-task learning with LASSO and graph regularization, which captures the relatedness between tasks via graph regularization. We use the Alzheimer's disease progression dataset as an example to show how the proposed framework is effective for prediction and model estimation when missing data is present.

연구 동기 및 목표

• 다중 작업 학습에서 기존의 보정 기법이 데이터 공분산을 왜곡하고 표본 수를 감소시키는 바람에 발생하는 기능 누락 문제를 해결한다.
• 보정 단계를 별도로 시행하지 않고도 누락 데이터 처리를 학습 과정에 직접 통합하는 프레임워크를 개발한다.
• 특히 높은 누락 데이터 비율에서 불완전한 데이터를 가진 다중 작업 설정에서 모델 일반화 및 예측 정확도를 향상시킨다.
• 실제 알츠하이머 병 진행 데이터에서 제안된 방법의 효과성을 입증한다.
• LASSO와 그래프 정규화 프레임워크 내에서 공분산 행렬에 대한 플러그인 추정기를 사용하여 확장 가능하고 강력한 솔루션을 제공한다.

제안 방법

• 다중 작업 학습 최적화 내에서 데이터 보정을 회피하기 위해 공분산 행렬에 대한 플러그인 추정기를 사용하여 기능 누락을 직접 처리한다.
• 예측 오차, L1(LASSO) 희소성, 그래프 기반 정규화(Frobenius 노름의 W·R)를 최소화하는 정규화된 최적화 문제로 학습 문제를 수립한다.
• 행렬 R을 통해 그래프 정규화를 통합하여 작업 간 관계를 표현하며, 연결된 작업들은 공유 파rameter를 통해 정보를 공유한다.
• 수렴성과 안정성을 보장하면서 최적화 문제를 효율적으로 해결하기 위해 투영된 경사 하강법을 적용한다.
• 누락 데이터를 고려한 플러그인 추정기를 사용하여 자동공분산 행렬 Γ를 추정함으로써 데이터 구조를 유지한다.
• 목적 함수를 교체함으로써 다양한 다중 작업 학습 설정에 적응할 수 있도록 프레임워크를 조정한다.

실험 결과

연구 질문

• RQ1 데이터에 높은 수준의 기능 누락이 존재할 경우, 플러그인 공분산 추정기는 다중 작업 학습에서 모델 추정 및 예측 정확도를 향상시키는가?
• RQ2 제안된 강력한 다중 작업 학습 프레임워크는 표준 보정 기법(예: 평균 보정, 행렬 분해)과 비교해 예측 정확도와 모델 안정성 측면에서 어떻게 성능을 내는가?
• RQ3 누락 데이터 존재 조건에서 플러그인 공분산 추정과 결합한 그래프 정규화가 성능 향상에 기여하는가?
• RQ4 누락 데이터 비율이 증가함에 따라 실생활 의료 데이터셋의 복잡한 상관관계를 가진 경우, 이 프레임워크는 어떻게 성능을 내는가?
• RQ5 별도의 데이터 보정 또는 행렬 완성 단계 없이도 이 방법이 낮은 편향과 높은 정확도를 유지할 수 있는가?

주요 결과

• 합성 실험에서 R-LGR1은 모든 누락 데이터 비율에서 평균 보정 및 행렬 분해(MF-LGR)를 모두 능가했으며, 특히 모델 및 자동공분산 추정에서 가장 낮은 NMSE를 기록했다.
• 40%의 누락 데이터에서 R-LGR1은 모델 추정에 대해 NMSE 0.007535를 기록했으며, 평균 보정(0.007661)과 MF-LGR(0.007684)보다 유의미하게 낮았다.
• 알츠하이머 병 데이터셋에서 R-LGR1은 원본 데이터(9% 누락)에서 예측 오차가 가장 낮았으며, RMSE = 7.538e-04를 기록했고, 평균 보정(7.596e-04)과 MF-LGR(7.670e-04)를 모두 능가했다.
• 누락 데이터가 49%로 증가했을 때도 R-LGR1은 가장 낮은 오차(7.660e-04)를 유지했으며, 평균 보정 및 MF-LGR는 오차가 증가함을 보여, 더 뛰어난 강건성을 입증했다.
• R-LGR1은 모든 누락 데이터 수준에서 기준 모델 대비 일관된 향상을 보였으며, 특히 높은 누락률(예: 39% 및 49%)에서 가장 큰 상대적 향상을 기록하여 안정성을 확인했다.
• 보정 기반 접근 방식보다 데이터 구조를 더 잘 유지했으며, 이는 자동공분산 행렬 추정기 Γ에 대한 더 낮은 NMSE로 입증되었으며, 정확한 추론에 필수적인 요소이다.