[논문 리뷰] PIVEN: A Deep Neural Network for Prediction Intervals with Specific Value Prediction

Eli Simhayev, Gilad Katz외 1명|arXiv (Cornell University)|2020. 06. 09.

Anomaly Detection Techniques and Applications참고 문헌 35인용 수 12

한 줄 요약

PIVEN은 예측 간격(Prediction Intervals, PIs)과 특정 값 예측을 동시에 수행하는 딥 네ural 네트워크로, PIs의 경계를 기반으로 한 학습 가능한 함수로 값 예측을 모델링하여 모델 복잡도를 증가시키지 않으면서도 예측 값이 간격 내에 항상 포함되도록 보장한다. 이는 최신 기술보다 더 날카운 예측 간격을 달성하면서도, 현대적인 CNN을 사용하는 대규모 이미지 데이터셋에서도 경쟁적인 값 예측 정확도를 유지한다.

ABSTRACT

Improving the robustness of neural nets in regression tasks is key to their application in multiple domains. Deep learning-based approaches aim to achieve this goal either by improving their prediction of specific values (i.e., point prediction), or by producing prediction intervals (PIs) that quantify uncertainty. We present PIVEN, a deep neural network for producing both a PI and a value prediction. Our loss function expresses the value prediction as a function of the upper and lower bounds, thus ensuring that it falls within the interval without increasing model complexity. Moreover, our approach makes no assumptions regarding data distribution within the PI, making its value prediction more effective for various real-world problems. Experiments and ablation tests on known benchmarks show that our approach produces tighter uncertainty bounds than the current state-of-the-art approaches for producing PIs, while maintaining comparable performance to the state-of-the-art approach for value-prediction. Additionally, we go beyond previous work and include large image datasets in our evaluation, where PIVEN is combined with modern neural nets.

연구 동기 및 목표

• 기존 방법들이 예측 간격(PIs) 또는 점 예측 중 하나에만 최적화되지만 동시에 두 가지를 다루지 못하는 한계를 해결하기 위해.
• 모델 복잡도를 증가시키지 않으면서도 예측 값이 예측된 PI 내에 항상 포함되도록 보장하기 위해.
• PI 내부의 데이터에 대한 분포 가정을 피함으로써 다양한 실제 회귀 작업에 대한 강건성을 향상시키기 위해.
• 표준 벤치마크와 대규모 이미지 데이터셋에서 방법을 평가하여 현대 아키텍처와의 일반화 능력을 입증하기 위해.
• PI 너비와 값 예측 정확도를 동시에 최적화하는 통합적이고 엔드 투 엔드의 훈련 방법을 제공하기 위해.

제안 방법

• PIVEN은 두 개의 출력 헤드를 가진 단일 딥 네럴 네트워크를 사용한다: 하나는 PI의 상한과 하한을 예측하고, 다른 하나는 특정 값을 예측한다.
• 값 예측은 PI 경계의 학습 가능한 함수로 모델링되어 항상 간격 내에 위치하게 하므로 예측의 무결성을 보장한다.
• 손실 함수는 PI 생성을 위한 퀀틸 기반 손실과 값 예측을 위한 회귀 손실을 조합하며, PI의 날카움과 예측 정확도 사이의 트레이드오프를 조정하기 위해 하이퍼파라미터 β를 사용한다.
• 추가로 하이퍼파라미터 λ는 예측 간격 커버리지(PICP)와 너비(MPIW) 사이의 균형을 조절하여 커버리지와 정밀도 사이의 트레이드오프를 제어할 수 있도록 한다.
• 모델은 확률적 경사 하강법(SGD)을 사용해 엔드 투 엔드로 훈련되며, 후처리 최적화나 앙상블 방법이 필요로 하지 않는다.
• 이 방법은 표본 회귀 데이터셋에서 평가되었고, 현대적인 컨volutional 아키텍처를 사용하여 이미지 데이터로 확장되었다.

실험 결과

연구 질문

• RQ1 모델 복잡도를 증가시키지 않으면서도 날카운 예측 간격과 정확한 점 예측을 동시에 최적화할 수 있는 딥 네럴 네트워크가 존재하는가?
• RQ2 PI 경계의 함수로 값 예측을 모델링할 경우, 독립적 또는 중앙값 기반 접근 방식에 비해 예측의 무결성과 성능이 향상되는가?
• RQ3 현대적인 컨volutional 네트워크와 결합했을 때 PIVEN은 대규모 이미지 데이터셋에서 어떻게 성능을 발휘하는가?
• RQ4 최신 기술의 PI 전용 방법보다 더 날카운 예측 간격을 달성하면서도 경쟁적인 값 예측 정확도를 유지할 수 있는가?
• RQ5 하이퍼파라미터 β와 λ는 PI의 날카움, 커버리지, 값 예측 정확도 사이의 트레이드오프에 어떤 영향을 미치는가?

주요 결과

• PIVEN은 QD와 QD-Plus보다 유의미하게 날카운 예측 간격을 생성하였으며, 보스턴 데이터셋에서 평균 MPIW가 1.09로 QD-Plus의 1.15보다 낮았다.
• PIVEN은 딥 앙상블(DE)과 유사한 값 예측 성능을 달성하였으며, 보스턴 데이터셋에서 RMSE가 3.13으로 DE의 3.21과 유사했다.
• 에너지 데이터셋에서 PIVEN은 RMSE를 1.65로 줄였고 MPIW는 0.42를 유지하여 두 지표에서 QD-Plus를 모두 능가했다.
• 제거 실험 결과, PI 너비와 값 예측의 동시에 최적화, 그리고 함수 기반 값 예측 방식이 PIVEN의 뛰어난 성능에 기여하는 것으로 확인되었다.
• PIVEN은 현대 CNN과 함께 대규모 이미지 데이터셋에 효과적으로 일반화되었으며, MSD 데이터셋에서 MPIW 2.42와 RMSE 8.93을 달성하여 현대 아키텍처와의 확장성과 성능을 입증했다.
• 하이퍼파라미터 분석 결과, β = 0.5가 PI의 날카움과 값 예측 정확도 사이의 최적 균형을 제공하는 것으로 확인되었고, λ는 커버리지-너비 트레이드오프를 효과적으로 제어하는 데 기여했다.