[논문 리뷰] Towards Handling Uncertainty-at-Source in AI -- A Review and Next Steps for Interval Regression

Shaily Kabir, Christian Wagner외 1명|arXiv (Cornell University)|2021. 04. 15.

Neural Networks and Applications인용 수 6

한 줄 요약

이 논문은 인공지능에서 간격 회귀를 발전시켜 원천에서의 불확실성 처리를 위한 최신 기법을 검토하고, 해석 가능성 향상을 위한 새로운 간격 회귀 그래프(IRG)를 제안하며, 모델 선택을 위한 실용적 권고를 제시한다. 수학적 일관성에 중점을 두고 있으며, 합성 및 실세계 간격 데이터 세트에서 뛰어난 성능을 입증한다.

ABSTRACT

Most of statistics and AI draw insights through modelling discord or variance between sources of information (i.e., inter-source uncertainty). Increasingly, however, research is focusing upon uncertainty arising at the level of individual measurements (i.e., within- or intra-source), such as for a given sensor output or human response. Here, adopting intervals rather than numbers as the fundamental data-type provides an efficient, powerful, yet challenging way forward -- offering systematic capture of uncertainty-at-source, increasing informational capacity, and ultimately potential for insight. Following recent progress in the capture of interval-valued data, including from human participants, conducting machine learning directly upon intervals is a crucial next step. This paper focuses on linear regression for interval-valued data as a recent growth area, providing an essential foundation for broader use of intervals in AI. We conduct an in-depth analysis of state-of-the-art methods, elucidating their behaviour, advantages, and pitfalls when applied to datasets with different properties. Specific emphasis is given to the challenge of preserving mathematical coherence -- i.e., ensuring that models maintain fundamental mathematical properties of intervals throughout -- and the paper puts forward extensions to an existing approach to guarantee this. Carefully designed experiments, using both synthetic and real-world data, are conducted -- with findings presented alongside novel visualizations for interval-valued regression outputs, designed to maximise model interpretability. Finally, the paper makes recommendations concerning method suitability for data sets with specific properties and highlights remaining challenges and important next steps for developing AI with the capacity to handle uncertainty-at-source.

연구 동기 및 목표

• 센서 출력 또는 인간 평가와 같은 개별 측정치에 내재된 불확실성(내원천 불확실성)을 모델링할 필요가 증가하고 있는 데 이를 해결한다.
• 하한 ≤ 상한을 보장하지 못해 수학적 일관성이 위협받을 수 있는 기존 간격 회귀 모델의 한계를 극복한다.
• 새로운 시각화 기법인 간격 회귀 그래프(IRG)를 통해 간격 회귀 모델의 해석 가능성을 향상시킨다.
• 중심, 범위, 변동성과 같은 데이터 특성에 기반해 간격 회귀 기법을 선택하는 데 실용적인 지침을 제공한다.
• 선형 회귀를 초월해 원천에서의 불확실성 처리를 위한 AI의 확장에 있어 핵심 과제와 향후 연구 방향을 규명한다.

제안 방법

• 수학적 일관성(즉, 하한 ≤ 상한을 보장하는 것)을 유지하는 능력에 중점을 두고 최신 간격 회귀 모델을 검토하고 분석한다.
• 다양한 회귀 기법을 적용하고 비교한다: 중심 모델(CM), MinMax, 제약 회귀 모델(CRM), 제약 절단 모델(CCRM), 제약 간격 모델(CIM), 힘 모델(PM), 선형 모델(LM c 및 LM w).
• 매개변수 추정에서 수학적 일관성을 유지하기 위해 박스-콕스 변환과 양성 제약 조건을 활용한다.
• 최적화 과정에서 간격의 타당성을 확보하기 위해 무어의 선형 조합과 라이슨 및 한슨 알고리즘(LHA)을 구현한다.
• 간격 회귀 그래프(IRG)를 도입한다. 이는 2차원 시각화로 회귀자 및 종속변수 간격의 중심(위치)과 범위(폭)를 동시에 표시한다.
• RMSE, MAE, MMRE와 같은 지표를 사용하여 중심, 폭, 노이즈 수준이 다양한 11개의 합성 및 실세계 데이터 세트에서 모델을 평가한다.

실험 결과

연구 질문

• RQ1 다양한 불확실성 구조를 가진 다양한 데이터 세트에서, 다양한 간격 회귀 모델의 정확성과 수학적 일관성은 어떻게 평가될 수 있는가?
• RQ2 새로운 간격 회귀 그래프(IRG)는 전통적인 시각화 방식에 비해 간격 회귀 모델의 해석 가능성에 얼마나 기여하는가?
• RQ3 특정 특성(예: 높은 폭 변동성 또는 비대칭 분포)을 가진 간격 데이터에 가장 적합한 회귀 모델은 무엇인가?
• RQ4 박스-콕스 변환과 양성 제약 조건과 같은 변환 및 제약 조건은 간격 회귀에서 모델의 안정성과 성능에 어떤 영향을 미치는가?
• RQ5 선형 회귀를 초월해 원천에서의 불확실성 처리를 위한 AI의 확장을 위한 핵심 과제와 열린 문제는 무엇인가?

주요 결과

• 제약 회귀 모델(CRM)은 여러 데이터 세트에서 가장 낮은 RMSE를 기록했으며, Set-1에서 RMSE⁻ = 0.645, RMSE⁺ = 0.441로 뛰어난 예측 정확도를 보였다.
• 힘 모델(PM)은 종속변수에서 높은 불확실성에 노출된 데이터에서는 열악한 성능을 보였으며, Example-1에서 RMSE⁺ = 7.594로 범위 변동성에 민감함을 드러냈다.
• 간격 회귀 그래프(IRG)는 회귀자 및 종속변수 간격의 중심과 폭의 병합된 영향을 효과적으로 시각화하여 모델의 해석 가능성은 크게 향상시켰다.
• 수학적 일관성을 강제하는 모델들—예를 들어 CRM, CCRM, LHA 또는 박스-콕스를 사용한 모델—은 PM 및 CIM과 같은 비일관성 모델에 비해 RMSE 및 MAE 측면에서 일관되게 뛰어난 성능을 보였다.
• MinMax 모델은 Set-1에서 RMSE⁻ = 1.797, RMSE⁺ = 1.714로 우수한 성능을 보여 간격 경계를 다룰 때 강건함을 입증했다.
• 간격 폭의 변동성이 높은 데이터 세트(예: Set-6 및 Set-7)는 상당한 과제를 안겼으며, 특히 PM과 같은 모델은 일관성과 정확도를 유지하는 데 어려움을 겪었다.