[논문 리뷰] PROMISSING: Pruning Missing Values in Neural Networks

Seyed Mostafa Kia, Nastaran Mohammadian Rad외 6명|arXiv (Cornell University)|2022. 06. 03.

Machine Learning in Healthcare인용 수 4

한 줄 요약

PROMISSING는 신경망 내에서 결측치를 오류가 아닌 불확실성의 정보적 신호로 간주하여, 활성화에 미치는 영향을 보정하기 위해 학습 가능한 표현을 사용하는 새로운 방법을 제안한다. 이 방법은 보정 기법과 유사한 성능을 달성하면서도, 결측치가 많아질수록 모델이 점점 더 불확실한 판단을 내리는 방식으로 작동하여 인간과 유사한 불확실성 인식을 모방한다.

ABSTRACT

While data are the primary fuel for machine learning models, they often suffer from missing values, especially when collected in real-world scenarios. However, many off-the-shelf machine learning models, including artificial neural network models, are unable to handle these missing values directly. Therefore, extra data preprocessing and curation steps, such as data imputation, are inevitable before learning and prediction processes. In this study, we propose a simple and intuitive yet effective method for pruning missing values (PROMISSING) during learning and inference steps in neural networks. In this method, there is no need to remove or impute the missing values; instead, the missing values are treated as a new source of information (representing what we do not know). Our experiments on simulated data, several classification and regression benchmarks, and a multi-modal clinical dataset show that PROMISSING results in similar prediction performance compared to various imputation techniques. In addition, our experiments show models trained using PROMISSING techniques are becoming less decisive in their predictions when facing incomplete samples with many unknowns. This finding hopefully advances machine learning models from being pure predicting machines to more realistic thinkers that can also say "I do not know" when facing incomplete sources of information.

연구 동기 및 목표

• 실제 기계학습 환경에서의 결측 데이터 문제를 다루며, 특히 데이터 수집이 비용이 많이 들고 완전하지 않은 임상 및 다중모달리틱 설정에서의 과제를 해결한다.
• 기존 보정 기법의 한계를 극복하며, 결측 데이터 메커니즘을 가정하거나 광범위한 사전처리가 필요로 하는 문제를 해결한다.
• 신경망이 보정 없이도 결측치를 자연스럽게 처리할 수 있도록 하는 방법을 개발하여 모델의 강건성과 해석 가능성을 유지한다.
• 부분적인 입력을 마주할 때 모델이 불확실성을 표현할 수 있도록 하여, 불확실한 환경에서 인간과 유사한 추론에 더 가까이 다가서도록 한다.
• 특정 환자 수준에서 특성 중요도를 탐색할 수 있도록 결측치를 활용한 대체적 해석을 가능하게 하여 반사적 해석을 촉진한다.

제안 방법

• 결측치의 영향을 중화하기 위해 포워드 프로세스 동안 적용되는 학습 가능한 표현을 도입한다.
• 신경망의 포워드 프로세스를 수정하여 결측치(NaN)를 별도의 입력 유형으로 간주하고, 정보 부재를 나타내는 학습 가능한 임bedding을 사용한다.
• 결측 특성의 뉴런 활성화에 기여하는 것을 억제하는 프루닝 메커니즘을 적용하여, 효과적으로 그 영향을 '프루닝'한다.
• 표준 백프로파게이션을 사용하여 모델을 엔드 투 엔드로 훈련시켜, 네트워크가 언제 그리고 어떻게 불확실한 입력을 가중치를 낮출지 학습하도록 한다.
• 각 모달리티에 대해 동일한 메커니즘을 독립적으로 적용하여 다중모달 데이터에 확장함으로써, 연속형, 이진형, 범주형 데이터 유형의 혼합된 데이터를 다루는 데에灵活性를 제공한다.
• 특징을 인위적으로 결측으로 마스킹하여 기능을 결측치로 간주함으로써 반사적 해석을 가능하게 하여, 개인 수준에서 국소적인 설명 가능성을 제공한다.

실험 결과

연구 질문

• RQ1 보정 또는 제거 없이도 결측치를 직접 다룰 수 있는 신경망을 훈련시킬 수 있는가, 이때도 예측 성능을 유지할 수 있는가?
• RQ2 PROMISSING와 보정 기반 방법을 비교할 때, 결측치 수가 증가함에 따라 모델의 예측에 대한 자신감은 어떻게 변화하는가?
• RQ3 PROMISSING는 인위적 결측을 통해 반사적 분석을 가능하게 하여 더 해석 가능하고 임상적으로 의미 있는 모델 결정을 가능하게 할 수 있는가?
• RQ4 정보가 부족할 경우 예측에 불확실성을 반영함으로써 PROMISSING가 모델 캘리브레이션을 향상시키는가?
• RQ5 PROMISSING는 고차원적, 다중모달리틱, 완전하지 않은 특성을 가진 실제 임상 데이터셋에서 다양한 데이터 유형에 대해 어떻게 성능을 발휘하는가?

주요 결과

• PROMISSING는 분류 및 회귀 벤치마크에서 MICE 및 딥 생성 모델을 포함한 여러 보정 기법과 유사한 예측 성능을 달성한다.
• 결측치 수가 증가할수록 PROMISSING로 훈련된 모델은 점점 더 불확실한 판단을 내리며, 결과적으로 0.5(무작위 선택)로 단조롭게 수렴하는 경향을 보이며, 캘리브레이션된 불확실성을 반영한다.
• 학습 가능한 결측 표현을 포함한 mPROMISSING 변종은 표준 PROMISSING에서 관찰된 성능이 무작위 선택에서 약간 벗어나는 현상을 수정하여 신뢰성을 향상시킨다.
• PROMISSING는 효과적인 반사적 해석을 가능하게 한다: 특징을 인위적으로 결측으로 마스킹함으로써, 모델 결정에 가장 영향을 미치는 모달리티(예: PANSS, MINI)를 밝힐 수 있다.
• 임상 적용에서는 PROMISSING가 개인 환자 수준에서 '왜'라는 질문에 답할 수 있도록 설명 가능한 AI를 지원하여 정밀 정신의학 분야에서 신뢰도와 유용성을 높인다.
• 이 방법은 연속형, 이진형, 범주형 데이터 유형 모두에 유연하게 적용되며, 사전 처리가 필요 없어 복잡한 다중모달리틱 데이터셋에 대해 추가 엔지니어링 없이도 적합하다.