[논문 리뷰] Handling Missing Data with Graph Representation Learning

Jiaxuan You, Xiaobai Ma외 3명|arXiv (Cornell University)|2020. 10. 30.

Advanced Graph Neural Networks참고 문헌 64인용 수 94

한 줄 요약

Grape는 이분 그래프 표현과 Graph Neural Networks를 활용해 누락 데이터의 특징 보정(feature imputation)과 라벨 예측을 모두 수행하며, 9개의 UCI 데이터셋에서 MAE 개선을 달성합니다.

ABSTRACT

Machine learning with missing data has been approached in two different ways, including feature imputation where missing feature values are estimated based on observed values, and label prediction where downstream labels are learned directly from incomplete data. However, existing imputation models tend to have strong prior assumptions and cannot learn from downstream tasks, while models targeting label prediction often involve heuristics and can encounter scalability issues. Here we propose GRAPE, a graph-based framework for feature imputation as well as label prediction. GRAPE tackles the missing data problem using a graph representation, where the observations and features are viewed as two types of nodes in a bipartite graph, and the observed feature values as edges. Under the GRAPE framework, the feature imputation is formulated as an edge-level prediction task and the label prediction as a node-level prediction task. These tasks are then solved with Graph Neural Networks. Experimental results on nine benchmark datasets show that GRAPE yields 20% lower mean absolute error for imputation tasks and 10% lower for label prediction tasks, compared with existing state-of-the-art methods.

연구 동기 및 목표

• 누락 데이터 문제와 기존의 보정 및 라벨 예측 방법의 한계를 제시한다.
• 두 가지 작업을 끝까지(end-to-end) 처리하는 일반적인 그래프 기반 프레임워크(Grape)를 제안한다.
• 관찰값과 특징을 노드로 하는 이분 그래프가 효과적인 보정 및 예측을 가능하게 함을 보인다.
• 다양한 데이터셋에서의 강건성, 보이지 않는 데이터에 대한 일반화, 그리고 확장성을 시연한다.

제안 방법

• 관찰값과 특징을 노드 유형으로, 관측된 값을 간선으로 하는 이분 그래프를 구성한다.
• 특징 보정을 간선 수준 예측으로, 라벨 예측을 노드 수준 예측으로 그래프에서 형식화한다.
• 이분 그래프를 위한 에지 임베딩과 보강된 노드 특성을 사용하는 GraphSAGE에 영감을 받은 그래프 신경망 아키텍처를 개발한다.
• 학습 중 에지 드롭아웃을 도입하여 과적합을 줄이고 보이지 않는 에지에 대한 일반화를 향상시킨다.
• 엔드투엔드 학습을 사용해 O_edge(보정)와 O_node(예측) 구성요소를 함께 최적화한다.

실험 결과

연구 질문

• RQ1 그래프 기반 표현이 최첨단 방법과 비교하여 누락 특징에 대한 보정 품질을 향상시킬 수 있는가?
• RQ2 누락 데이터하에서 엔드투엔드 GNN 기반 학습이 특징 보정과 다운스트림 라벨 예측을 동시에 향상시킬 수 있는가?
• RQ3 에지 드롭아웃 및 보강된 이분 그래프 특징이 보이지 않는 데이터와 관측에 대한 일반화를 향상시키는가?
• RQ4 Grape는 많은 특징을 가진 데이터셋에 대해 확장 가능하며 데이터셋 간 지식을 전이할 수 있는가?
• RQ5 벤치마크 데이터셋에서 다양한 누락 데이터 비율에서 Grape의 성능은 어떠한가?

주요 결과

• Grape는 30% 누락 데이터에서 9개의 UCI 데이터셋에서 특징 보정의 MAE를 약 20% 감소시키고 라벨 예측의 MAE를 약 10% 감소시킨다.
• 에지 드롭아웃은 보정 작업에서 평균적으로 MAE를 약 33% 감소시킨다.
• 대부분의 경우 엔드투엔드 학습이 다운스트림 예측 MAE를 약 19% 향상시킨다.
• Grape는 재훈련 없이 보이지 않는 관측에 일반화가 잘 되며 베이스라인 대비 약 21% MAE 개선을 보인다.
• Grape는 다양한 누락 데이터 수준(비율)에서도 견고한 성능을 유지하며 확장 가능한 이분 그래프 학습을 지원한다.