[论文解读] Algorithmic Transparency in Forecasting Support Systems

Leif Feddersen|arXiv (Cornell University)|Nov 1, 2024

Big Data and Business IntelligenceBusiness, Management and Accounting被引用 3

一句话总结

本研究探讨了预测支持系统（FSS）中算法透明度对预测准确率和用户满意度的影响。通过时间序列分解方法，比较了三种FSS设计——不透明型、透明型和可透明调整型。结果表明，透明度可降低调整频率与误差方差，但允许用户调整透明组件会导致极端且不准确的调整，凸显了培训在防止信息过载方面的重要性。

ABSTRACT

Most organizations adjust their statistical forecasts (e.g. on sales) manually. Forecasting Support Systems (FSS) enable the related process of automated forecast generation and manual adjustments. As the FSS user interface connects user and statistical algorithm, it is an obvious lever for facilitating beneficial adjustments whilst discouraging harmful adjustments. This paper reviews and organizes the literature on judgemental forecasting, forecast adjustments, and FSS design. I argue that algorithmic transparency may be a key factor towards better, integrative forecasting and test this assertion with three FSS designs that vary in their degrees of transparency based on time series decomposition. I find transparency to reduce the variance and amount of harmful forecast adjustments. Letting users adjust the algorithm's transparent components themselves, however, leads to widely varied and overall most detrimental adjustments. Responses indicate a risk of overwhelming users with algorithmic transparency without adequate training. Accordingly, self-reported satisfaction is highest with a non-transparent FSS.

研究动机与目标

• 探究预测支持系统（FSS）中的算法透明度如何影响预测准确率和用户满意度。
• 评估透明FSS设计是否相比不透明或可调整界面，能减少有害的预测调整。
• 评估逐项调整功能对预测质量与用户行为的影响。
• 探讨用户培训与心智模型对齐在有效人机协同预测中的作用。
• 识别在判断性调整过程中，透明度、可用性与预测表现之间的设计权衡。

提出的方法

• 在实验中对比了三种FSS设计：不透明型（O）、透明型（T）和可透明调整型（TA），其算法透明度与调整能力各不相同。
• FSS使用时间序列分解方法，向T和TA条件下的用户展示底层组件（趋势、季节性、水平）。
• 参与者通过Amazon mTurk在受控实验环境中使用图形用户界面进行调整，调整频率与准确率与财务激励挂钩。
• 以调整量（AV）、偏差量（DV）和相对平均绝对误差（rMAE）作为关键绩效指标进行测量。
• 通过任务后调查收集用户满意度及自我报告的理解程度，以评估感知可用性与认知负荷。
• 通过统计分析比较三种FSS条件下调整频率、误差方差及用户报告结果的差异。

Figure 1 : Transparently Adjustable FSS design in its final iteration.

实验结果

研究问题

• RQ1 FSS中的算法透明度如何影响判断性预测调整的频率与幅度？
• RQ2 与不透明或可调整设计相比，透明FSS设计是否能降低预测误差方差？
• RQ3 允许用户调整透明组件会对预测准确率与用户满意度产生何种影响？
• RQ4 用户在多大程度上因算法透明度而感到信息过载，这又如何影响其调整行为？
• RQ5 算法透明度能否在不增加认知负荷的前提下提升用户理解并减少有害调整？

主要发现

• 与不透明型（O）和可透明调整型（TA）相比，透明型（T）FSS设计显著降低了调整频率与调整量，且调整量与rMAE的标准差最低。
• 可透明调整型（TA）FSS设计导致调整量与rMAE的方差最高，表明调整行为极不稳定且常具破坏性。
• TA条件下的参与者平均调整幅度最大，且每位参与者前五大调整中，80%来自该条件。
• 尽管透明度更高，TA条件下的预测准确率最差，rMAE值最高，原因在于极端的、基于组件的调整。
• 用户满意度在不透明型（O）条件下最高，表明缺乏培训的过度透明可能降低感知可用性。
• 反馈显示，许多用户对TA界面的复杂性感到不知所措，尤其是在被赋予直接控制算法组件的权限时。

Figure 2 : TA FSS: Detail view of weekly effects which allows for adjustments by dragging the white handle points.