[논문 리뷰] Sampling To Improve Predictions For Underrepresented Observations In Imbalanced Data

Rune D. Kjærsgaard, Manja Gersholm Grønberg외 1명|arXiv (Cornell University)|2021. 11. 17.

Imbalanced Data Classification Techniques참고 문헌 7인용 수 4

한 줄 요약

이 논문은 불균형한 생산 데이터에서 부족하게 표현된 입력 영역에서 모델 성능을 향상시키기 위해 샘플링 기반 데이터 증강 기법을 제안한다. 세 가지 전략을 사용한다: 데이터 경계 근처에서의 랜덤 샘플링, 고밀도 영역에서의 랜덤 샘플링, 밀도 기반 가중치 샘플링. 결과적으로 전체 RMSE는 약 ~3% 증가하지만, 모든 방법이 저밀도 및 부족하게 표현된 관측치의 예측 성능을 크게 향상시킨다. 특히 밀도 기반 샘플링이 두드러진 성능 향상을 보이며, 불균형 데이터에 대해 공정한 평가 방법이 필요함을 시사한다.

ABSTRACT

Data imbalance is common in production data, where controlled production settings require data to fall within a narrow range of variation and data are collected with quality assessment in mind, rather than data analytic insights. This imbalance negatively impacts the predictive performance of models on underrepresented observations. We propose sampling to adjust for this imbalance with the goal of improving the performance of models trained on historical production data. We investigate the use of three sampling approaches to adjust for imbalance. The goal is to downsample the covariates in the training data and subsequently fit a regression model. We investigate how the predictive power of the model changes when using either the sampled or the original data for training. We apply our methods on a large biopharmaceutical manufacturing data set from an advanced simulation of penicillin production and find that fitting a model using the sampled data gives a small reduction in the overall predictive performance, but yields a systematically better performance on underrepresented observations. In addition, the results emphasize the need for alternative, fair, and balanced model evaluations.

연구 동기 및 목표

• 통제된 조건에서 변동성이 제한된 데이터 수집으로 인해 부족하게 표현된 입력 영역에서의 예측 성능이 떨어지는 문제를 해결한다.
• 샘플링 전략이 입력 공간을 재균형화하여 특히 희귀하거나 경계 사례 관측치에 대해 모델 일반화 능력을 향상시킬 수 있는지 조사한다.
• 연속적인 목표 변수를 가진 회귀 과제에서 전체 모델 성능와 부족하게 표현된 데이터 포인트에 대한 공정성 간의 상호 교환 관계를 평가한다.
• 불균형 데이터 설정에서 공정한 모델 평가를 위해 부족하게 표현된 영역에 초점을 맞춘 대안 평가 지표가 필수적임을 입증한다.

제안 방법

• 세 가지 샘플링 전략 제안: (a) 입력 초입체 내에서 랜덤 샘플링 후 가장 가까운 이웃 선택; (b) 입력 초입체 내에서 랜덤 샘플링 후 5개 가장 가까운 이웃의 특징 평균화; (c) 가장 가까운 이웃까지의 역거리로 가중치를 설정한 밀도 기반 샘플링.
• 이 샘플링 방법들을 적용하여 기존 훈련 데이터의 20% 크기(각각 경계 샘플링 10%, 고밀도 샘플링 10%)로 더 균형 잡힌 새로운 훈련 세트를 생성한다.
• 샘플링된 훈련 데이터로 선형 회귀 모델을 훈련하고, 테스트 데이터에서 평균 제곱근 오차(RMSE)를 사용해 전체 원본 훈련 세트로 훈련된 모델와 성능을 비교한다.
• 주성분 분석(PCA)을 사용해 데이터 분포를 시각화하고, 특히 바이오파마시티컬 배치에서의 공정성 이탈과 관련된 저밀도(부족하게 표현된) 영역을 식별한다.
• 훈련 세트 내 100개의 가장 가까운 이웃까지의 평균 거리로 부족함을 측정하며, 높은 거리는 낮은 밀도와 함께 부족함을 나타낸다.
• 테스트 데이터 전반에서 전체 데이터 모델과 샘플링 모델 간 잔차를 비교하며, 저밀도 영역에서의 성능 차이에 초점을 맞춘다.

실험 결과

연구 질문

• RQ1 입력 공간을 재균형화하는 샘플링 전략이 불균형 회귀 데이터에서 부족하게 표현된 관측치의 예측 성능을 향상시킬 수 있는가?
• RQ2 샘플링된 데이터로 훈련된 모델의 성능은 전체 원본 데이터 세트로 훈련된 모델와 비교해 전체 RMSE와 저밀도 영역에서의 성능 측면에서 어떻게 다른가?
• RQ3 랜덤 경계 샘플링, 랜덤 고밀도 샘플링, 밀도 기반 샘플링 중 어느 전략이 전체 성능와 저밀도 영역에 대한 공정성 간의 가장 유리한 트레이드오프를 제공하는가?
• RQ4 불균형 테스트 세트에서 표준 RMSE 평가가 부족하게 표현된 데이터 포인트에서의 열악한 성능를 얼마나 심각하게 가리키는가? 그리고 어떤 대안 평가 접근이 필요한가?

주요 결과

• 밀도 기반 샘플링 방법이 세 가지 샘플링 전략 중에서 가장 낮은 전체 RMSE를 기록하여 입력 공간 전반에서 더 나은 일반화 능력을 보였다.
• 전체 불균형 테스트 세트에서, 모든 샘플링 방법이 전체 데이터 모델 대비 약 ~3%의 RMSE 증가를 보였으며, 이는 전체 성능에 미치는 약간의 그러나 측정 가능한 트레이드오프임을 시사한다.
• 100개의 가장 가까운 이웃까지의 평균 거리로 측정한 10%의 가장 부족하게 표현된 관측치에서, 모든 샘플링 전략이 전체 데이터 모델 대비 RMSE를 크게 감소시켰으며, 이는 저밀도 영역에서의 성능 향상이 뚜렷함을 보여준다.
• PCA를 활용한 시각화 결과, 부족하게 표현된 관측치는 주로 공정 이탈이 발생한 배치(예: 배치 91–100)에서 유래한 저밀도 영역에 집중되어 있었으며, 이러한 영역에서 샘플링으로 인한 성능 향상이 가장 컸다.
• 밀도 기반 샘플링 방법은 저밀도 영역 전반에서 가장 일관된 향상을 보였으며, 특히 PCA 투영도의 상단 왼쪽과 하단 오른쪽 경계 영역에서 잔차가 전체 데이터 모델 대비 일관되게 작게 유지되었다.
• 결과는 표준 RMSE 평가가 불균형 데이터에서의 핵심 문제를 드러내지 못하는 심각한 한계를 드러낸다: 과도하게 표현된 영역에 치우쳐져 있으며, 부족하게 표현된 관측치(그러나 잠재적으로 더 중요한)에서의 열악한 성능를 가리킬 수 있다.