[논문 리뷰] Improving predictions by nonlinear regression models from outlying input data

William W. Hsieh|arXiv (Cornell University)|2020. 03. 17.

Hydrological Forecasting Using AI인용 수 5

한 줄 요약

이 논문은 환경 과학에서 훈련 도메인 외부의 입력 데이터에 대해 예측 신뢰도를 향상시키기 위해 비선형 외삽을 선형 외삽으로 대체하는 하이브리드 비선형 회귀 모델(NLR_OR)을 제안한다. 이 모델은 훈련 영역 내에서 비선형 모델의 행동을 기반으로 선형 외삽을 도출함으로써 신뢰할 수 없는 비선형 외삽을 대체한다. 이 방법은 이질적 입력에 대한 부정확한 예측을 크게 줄이며, 동시에 내재된 데이터에 대한 강력한 성능을 유지한다.

ABSTRACT

When applying machine learning/statistical methods to the environmental sciences, nonlinear regression (NLR) models often perform only slightly better and occasionally worse than linear regression (LR). The proposed reason for this conundrum is that NLR models can give predictions much worse than LR when given input data which lie outside the domain used in model training. Continuous unbounded variables are widely used in environmental sciences, whence not uncommon for new input data to lie far outside the training domain. For six environmental datasets, inputs in the test data were classified as "outliers" and "non-outliers" based on the Mahalanobis distance from the training input data. The prediction scores (mean absolute error, Spearman correlation) showed NLR to outperform LR for the non-outliers, but often underperform LR for the outliers. An approach based on Occam's Razor (OR) was proposed, where linear extrapolation was used instead of nonlinear extrapolation for the outliers. The linear extrapolation to the outlier domain was based on the NLR model within the non-outlier domain. This NLR$_{\mathrm{OR}}$ approach reduced occurrences of very poor extrapolation by NLR, and it tended to outperform NLR and LR for the outliers. In conclusion, input test data should be screened for outliers. For outliers, the unreliable NLR predictions can be replaced by NLR$_{\mathrm{OR}}$ or LR predictions, or by issuing a "no reliable prediction" warning.

연구 동기 및 목표

• 훈련 도메인 외부에서 크게 떨어진 입력 데이터를 다룰 때 비선형 회귀(NLR) 모델의 성능이 열 劣하는 문제를 해결하기 위해.
• 훈련 데이터 분포에서의 마할라노비스 거리(Mahalanobis distance)를 사용하여 이질적 테스트 입력을 식별하고 분리하기 위해.
• 내재된 영역에서의 NLR 모델 행동을 기반으로 선형 외삽을 도입하여 이질적 입력에 대한 예측 신뢰도를 향상시키기 위해.
• 신뢰할 수 없는 예측을 감지하고, 입력이 이질적일 경우 경고 또는 대체 예측을 제공하는 실용적인 프레임워크를 제안하기 위해.
• 하이브리드 NLR_OR 접근법이 순수 NLR와 선형 회귀(LR)보다 이질적 테스트 케이스에서 더 우수한 성능을 보임을 입증하기 위해.

제안 방법

• 이질적 입력 탐지는 훈련 입력 데이터 분포에 대해 마할라노비스 거리를 사용하여 수행된다.
• NLR_OR 모델은 내재된 영역 내에서 NLR 모델의 피팅된 파라미터로부터 유도된 선형 외삽을 이질적 입력에 적용한다.
• 선형 외삽 구성 요소는 훈련 데이터의 비이질적 부분에 대해서만 훈련되어, NLR 모델의 국소 추세를 반영한다.
• 예측 성능 평가에는 평균 절대 오차(MAE)와 슼스피어만 상관계수를 사용하며, 내재된 데이터와 이질적 데이터 서브셋에서 NLR, LR, NLR_OR 간의 성능을 비교한다.
• 연속적이고 유계가 없는 입력 변수를 포함한 여섯 개의 환경 데이터셋을 대상으로 방법을 검증한다. 이러한 변수들은 극단적 값을 띌 가능성이 높다.
• NLR_OR가 대체 예측으로 사용되지 않을 경우, 이질적 입력에 대해 '신뢰할 수 없는 예측' 경고를 발행한다.

실험 결과

연구 질문

• RQ1 비선형 회귀 모델은 훈련 입력 도메인 외부에서 크게 떨어진 테스트 입력에 대해 어떻게 성능을 발휘하는가?
• RQ2 내재된 영역에서 비선형 모델의 행동을 기반으로 한 선형 외삽은 이질적 입력에 대한 예측 신뢰도를 향상시킬 수 있는가?
• RQ3 제안된 NLR_OR 방법은 표준 NLR에 비해 이질적 데이터에서 매우 부정확한 예측의 빈도를 줄일 수 있는가?
• RQ4 NLR_OR 모델은 이질적 테스트 케이스에서 NLR와 선형 회귀(LR)에 비해 예측 정확도 측면에서 어떻게 비교되는가?
• RQ5 언제 NLR 예측을 선형 외삽 또는 경고로 대체해야 하는가?

주요 결과

• 비이질적 테스트 입력에 대해서는 NLR가 평균 절대 오차와 슼스피어만 상관계수 측면에서 선형 회귀보다 일관되게 뛰어난 성능을 보였다.
• 이질적 테스트 입력에 대해서는 NLR 예측이 선형 회귀 예측보다 훨씬 열 劣한 경우가 많았으며, 이는 비선형 외삽의 열 劣한 행동을 시사한다.
• NLR_OR 방법은 NLR 모델의 내재 영역에서의 행동을 기반으로 한 선형 외삽으로 비선형 외삽을 대체함으로써 이질적 입력에서 매우 부정확한 예측의 발생 빈도를 감소시켰다.
• NLR_OR는 이질적 테스트 데이터에서 NLR와 LR 모두를 능가하는 경향을 보이며, 이질적 입력에 대한 강건성을 향상시켰다.
• 입력 데이터는 이질성을 확인하기 위해 사전 점검되어야 하며, 이러한 데이터에 대한 NLR 예측은 대체 또는 경고 표시되어야 한다는 점을 확인하였다.
• 이 방법은 입력 변수가 훈련 도메인의 범위를 뛰어넘는 경우가 흔한 환경 모델링에서 예측 신뢰도를 향상시키는 실용적인 해결책을 제공한다.