[논문 리뷰] Tight Prediction Intervals Using Expanded Interval Minimization

Dongqi Su, Ying Yin Ting외 1명|arXiv (Cornell University)|2018. 06. 28.

Neural Networks and Applications참고 문헌 11인용 수 17

한 줄 요약

이 논문은 대칭적인 오차 분포를 가정하지 않고, 직접적으로 날카롭고 커버리지 제약 조건을 만족하는 예측 구간을 예측하는 새로운 신경망 손실 함수인 확장된 간격 최소화(EIM)를 소개한다. 미니배치에서 경계를 목표 커버리지에 맞게 스케일링하고 너비를 최소화함으로써 EIM은 두 개의 실세계 데이터셋에서 기존 방법들보다 평균적으로 1.37배 더 날카운 예측 구간을 달성하며, 특히 낮은 커버리지 수준에서 MLE, 앙상블 및 히스토그램 회귀 기법들보다 뛰어난 성능을 발휘한다.

ABSTRACT

Prediction intervals are a valuable way of quantifying uncertainty in regression problems. Good prediction intervals should be both correct, containing the actual value between the lower and upper bound at least a target percentage of the time; and tight, having a small mean width of the bounds. Many prior techniques for generating prediction intervals make assumptions on the distribution of error, which causes them to work poorly for problems with asymmetric distributions. This paper presents Expanded Interval Minimization (EIM), a novel loss function for generating prediction intervals using neural networks. This loss function uses minibatch statistics to estimate the coverage and optimize the width of the prediction intervals. It does not make the same assumptions on the distributions of data and error as prior work. We compare to three published techniques and show EIM produces on average 1.37x tighter prediction intervals and in the worst case 1.06x tighter intervals across two large real-world datasets and varying coverage levels.

연구 동기 및 목표

• 기존의 예측 구간 방법들이 대칭적인 오차 분포를 가정함으로써 실세계의 비대칭 데이터에서 최적의 성능을 내지 못하는 한계를 해결하기 위해.
• 분포 가정(예: 정규 분포 잡음) 없이도 정확한 커버리지 유지와 함께 더 날카운 예측 구간을 생성하는 방법을 개발하기 위해.
• 평균을 중심으로 대칭적인 경계를 강제하는 대신, 데이터 밀도에 따라 유연하게 조정되는 샘플별 예측 구간 분위수를 가능하게 하기 위해.
• 앙상블 방법보다 학습 복잡도를 줄이고, 기존의 신경망 기반 접근법보다 더 날카운 예측 구간을 제공하기 위해.

제안 방법

• EIM은 평균과 분산을 위한 별도의 모델 없이, 직접적으로 하한 및 상한 예측 경계를 출력하는 단일 신경망을 학습시킨다.
• 손실 함수는 먼저 각 미니배치의 예측 경계를 실측 분위수를 사용해 목표 데이터 비율(예: 90%)을 커버하도록 스케일링한다.
• 커버리지 확보 후, 손실 함수는 스케일링된 경계의 너비를 최소화하여 날카움을 최적화하면서도 정확성을 유지한다.
• 이 방법은 분포에 관계없이 커버리지 추정을 위해 미니배치 통계를 사용하므로, 비대칭 데이터에 적합하다.
• 최대우도나 앙상블 방법과 달리, EIM은 독립적인 모델 및 잡음 분산 성분을 가정하지 않으며, 다수의 모델이 필요하지 않다.
• 이 접근법은 각 샘플에 대해 다른 예측 구간 분위수를 허용하여, 더 적응적이고 데이터 기반의 구간 형태를 가능하게 한다.

실험 결과

연구 질문

• RQ1 신경망 기반 방법이 대칭적인 오차 분포를 가정하지 않고도 기존 기법보다 더 날카운 예측 구간을 생성할 수 있는가?
• RQ2 EIM의 성능은 다양한 커버리지 수준과 실세계 데이터셋에서 MLE, 앙상블 및 히스토그램 회귀 기법과 비교해 어떻게 되는가?
• RQ3 EIM이 데이터 밀도에 따라 경계를 적응적으로 조정할 수 있는 능력이 비대칭 분포에서 더 날카운 구간을 만들어내는 데 기여하는가?
• RQ4 EIM의 학습 복잡도와 추론 효율성은 앙상블 및 히스토그램 회귀 기법과 비교해 어떻게 되는가?

주요 결과

• EIM은 두 개의 대규모 실세계 데이터셋과 다양한 커버리지 수준에서, 다음으로 좋은 방법보다 평균적으로 1.37배 더 날카운 예측 구간을 생성한다.
• 70% 커버리지 목표에서 EIM은 다음으로 좋은 기법보다 1.26배 더 날카운 예측 구간을 달성하며, 90% 커버리지에서는 1.06배 더 날카운다.
• EIM과 다른 방법 간의 성능 격차는 낮은 커버리지 목표(예: 70%)에서 가장 크며, 이는 EIM이 더 큰 구간 형태의 유연성을 발휘하기 때문이다.
• EIM의 예측 분포는 평균에서 동일하게 확장되는 대칭적 방법과 달리, 데이터의 고밀도 영역 쪽으로 더 치우쳐 있다.
• EIM은 히스토그램 회귀 기법보다도 성능이 뛰어나지만, 후자는 두 하이퍼파라미터에 대한 철저한 그리드 서치가 필요로 하며 EIM은 이를 피한다.
• EIM는 가장 빠르고 단순한 방법으로, 단일 신경망만 필요로 하며, 앙상블 방법은 200개의 모델을 학습시켜야 하므로 훨씬 더 복잡하다.