[论文解读] Towards Handling Uncertainty-at-Source in AI -- A Review and Next Steps for Interval Regression

Shaily Kabir, Christian Wagner+1 more|arXiv (Cornell University)|Apr 15, 2021

Neural Networks and Applications被引用 6

一句话总结

本文通过回顾处理源端不确定性（uncertainty-at-source）的最先进方法，提出一种新型区间回归图（IRG）以提升可解释性，并提供模型选择的实用建议，推进了人工智能中的区间回归。该研究强调数学一致性，并在合成数据集和真实世界区间数据集上展示了卓越的性能。

ABSTRACT

Most of statistics and AI draw insights through modelling discord or variance between sources of information (i.e., inter-source uncertainty). Increasingly, however, research is focusing upon uncertainty arising at the level of individual measurements (i.e., within- or intra-source), such as for a given sensor output or human response. Here, adopting intervals rather than numbers as the fundamental data-type provides an efficient, powerful, yet challenging way forward -- offering systematic capture of uncertainty-at-source, increasing informational capacity, and ultimately potential for insight. Following recent progress in the capture of interval-valued data, including from human participants, conducting machine learning directly upon intervals is a crucial next step. This paper focuses on linear regression for interval-valued data as a recent growth area, providing an essential foundation for broader use of intervals in AI. We conduct an in-depth analysis of state-of-the-art methods, elucidating their behaviour, advantages, and pitfalls when applied to datasets with different properties. Specific emphasis is given to the challenge of preserving mathematical coherence -- i.e., ensuring that models maintain fundamental mathematical properties of intervals throughout -- and the paper puts forward extensions to an existing approach to guarantee this. Carefully designed experiments, using both synthetic and real-world data, are conducted -- with findings presented alongside novel visualizations for interval-valued regression outputs, designed to maximise model interpretability. Finally, the paper makes recommendations concerning method suitability for data sets with specific properties and highlights remaining challenges and important next steps for developing AI with the capacity to handle uncertainty-at-source.

研究动机与目标

• 应对日益增长的需求：对个体测量中固有的不确定性（即源内不确定性）进行建模，例如传感器输出或人工判断。
• 克服现有区间回归模型的局限性，这些局限性可能导致数学不一致，例如产生负的区间宽度。
• 通过一种新颖的可视化技术——区间回归图（IRG）——提升区间回归模型的可解释性。
• 根据数据特征（包括中心值、范围和变异性）提供选择区间回归方法的实用指导。
• 识别将人工智能扩展至处理源端不确定性（超越线性回归）的关键挑战与未来研究方向。

提出的方法

• 回顾并分析最先进区间回归模型，重点关注其保持数学一致性的能力（即确保下界 ≤ 上界）。
• 应用并比较多种回归技术：中心模型（CM）、MinMax、约束回归模型（CRM）、约束右删失模型（CCRM）、约束区间模型（CIM）、幂模型（PM）以及线性模型（LM c 和 LM w）。
• 利用Box-Cox变换和正性约束，以在参数估计中保持数学一致性。
• 采用Moore的线性组合方法以及Lawson和Hanson算法（LHA），在优化过程中强制保证区间有效性。
• 提出区间回归图（IRG），一种二维可视化方法，可同时显示自变量和因变量区间的位置（中心）与范围（宽度）。
• 在11个具有不同特性的合成与真实世界数据集上评估模型，包括中心值、宽度和噪声水平，使用RMSE、MAE和MMRE等指标。

实验结果

研究问题

• RQ1 在具有不同不确定性结构的多样化数据集上，不同区间回归模型在准确性和数学一致性方面的表现如何？
• RQ2 与传统可视化方法相比，新型区间回归图（IRG）在多大程度上提升了区间回归模型的可解释性？
• RQ3 对于具有特定特征（如高宽度变异性或偏态分布）的区间数据，哪种回归模型最为合适？
• RQ4 Box-Cox变换和正性约束等方法如何影响区间回归中模型的稳定性和性能？
• RQ5 在将人工智能扩展至处理源端不确定性（超越线性回归）方面，存在哪些关键挑战和开放性问题？

主要发现

• 约束回归模型（CRM）在多个数据集上实现了最低的RMSE值，其中在Set-1上RMSE⁻ = 0.645，RMSE⁺ = 0.441，表明其具有出色的预测准确性。
• 幂模型（PM）在因变量不确定性较高的数据上表现欠佳，例如在Example-1上RMSE⁺ = 7.594，凸显其对范围变异性高度敏感。
• 区间回归图（IRG）有效可视化了自变量和因变量区间中心与宽度的联合影响，显著增强了模型的可解释性。
• 强制数学一致性的模型——如CRM、CCRM以及使用LHA或Box-Cox的模型——在RMSE和MAE方面始终优于非一致模型（如PM和CIM）。
• MinMax模型在Set-1上表现出色，RMSE⁻ = 1.797，RMSE⁺ = 1.714，表明其在处理区间边界方面具有鲁棒性。
• 区间宽度变异性高的数据集（如Set-6和Set-7）带来了显著挑战，尤其对PM等模型而言，其难以维持一致性和准确性。