[논문 리뷰] Algorithmic Transparency in Forecasting Support Systems

Leif Feddersen|arXiv (Cornell University)|2024. 11. 01.

Big Data and Business IntelligenceBusiness, Management and Accounting인용 수 3

한 줄 요약

이 연구는 예측 지원 시스템(Forecasting Support Systems, FSS)에서 알고리즘 투명성이 예측 정확도와 사용자 만족도에 미치는 영향을 조사한다. 시간 시계열 분해를 활용해, 투명하지 않은, 투명한, 투명하게 조정 가능한 세 가지 FSS 설계를 비교하였다. 결과적으로 투명성은 조정 빈도와 오차 분산을 감소시키지만, 사용자가 투명한 구성 요소를 조정할 수 있도록 허용할 경우 극단적이고 정확도가 떨어지는 조정이 발생하여 정보 과부하를 방지하기 위해 훈련이 필요하다는 점을 시사한다.

ABSTRACT

Most organizations adjust their statistical forecasts (e.g. on sales) manually. Forecasting Support Systems (FSS) enable the related process of automated forecast generation and manual adjustments. As the FSS user interface connects user and statistical algorithm, it is an obvious lever for facilitating beneficial adjustments whilst discouraging harmful adjustments. This paper reviews and organizes the literature on judgemental forecasting, forecast adjustments, and FSS design. I argue that algorithmic transparency may be a key factor towards better, integrative forecasting and test this assertion with three FSS designs that vary in their degrees of transparency based on time series decomposition. I find transparency to reduce the variance and amount of harmful forecast adjustments. Letting users adjust the algorithm's transparent components themselves, however, leads to widely varied and overall most detrimental adjustments. Responses indicate a risk of overwhelming users with algorithmic transparency without adequate training. Accordingly, self-reported satisfaction is highest with a non-transparent FSS.

연구 동기 및 목표

• 예측 지원 시스템(Forecasting Support Systems, FSS)에서 알고리즘 투명성이 예측 정확도와 사용자 만족도에 미치는 영향을 조사하기 위해.
• 투명한 FSS 설계가 투명하지 않은 또는 조정 가능한 인터페이스에 비해 해로운 예측 조정을 줄이는지 평가하기 위해.
• 구성 요소 수준의 조정 기능이 예측 품질과 사용자 행동에 미치는 영향을 평가하기 위해.
• 사용자 훈련과 정신 모델 일치가 예측 분야에서 인간-알고리즘 협업의 효과성에 미치는 역할을 탐색하기 위해.
• 심리적 조정 과정에서 투명성, 사용성, 예측 성능 간의 설계 상충 관계를 특정하기 위해.

제안 방법

• 투명하지 않은(O), 투명한(T), 투명하게 조정 가능한(TA) 세 가지 FSS 설계를 실험적으로 비교하였다. 이는 알고리즘 투명성과 조정 능력의 차이를 반영한다.
• FSS는 T 및 TA 조건에서 시간 시계열 분해를 사용하여 사용자에게 기본 구성 요소(추세, 계절성, 수준)를 노출시켰다.
• 참가자들은 제어된 실험실 환경에서 Amazon mTurk를 통해 GUI를 통해 예측 조정을 수행하였으며, 조정 빈도와 정확도에 따라 재정적 인centive를 받았다.
• 조정량(AV), 이격량(DV), 상대 평균 절대 오차(rMAE)를 핵심 성능 지표로 측정하였다.
• 사용자 만족도와 자가 보고된 이해도는 사후 설문 조사로 수집하여 인식된 사용성과 인지 부하를 평가하였다.
• 통계 분석을 통해 세 가지 FSS 조건 간의 조정 빈도, 오차 분산, 사용자 보고 결과를 비교하였다.

Figure 1 : Transparently Adjustable FSS design in its final iteration.

실험 결과

연구 질문

• RQ1 FSS에서 알고리즘 투명성이 판단 기반 예측 조정의 빈도와 크기에 어떤 영향을 미치는가?
• RQ2 투명한 FSS 설계가 투명하지 않은 또는 조정 가능한 설계에 비해 예측 오차 분산을 줄이는가?
• RQ3 사용자가 투명한 구성 요소를 조정할 수 있도록 허용할 경우 예측 정확도와 사용자 만족도에 어떤 영향을 미치는가?
• RQ4 사용자가 알고리즘 투명성으로 인해 과부하를 느끼는 정도는 어느 정도이며, 이는 조정 행동에 어떤 영향을 미치는가?
• RQ5 알고리즘 투명성이 인지 부하를 증가시키지 않으면서도 사용자 이해도를 향상시키고 해로운 조정을 줄일 수 있는가?

주요 결과

• 투명한(T) FSS 설계는 투명하지 않은(O) 및 투명하게 조정 가능한(TA) 설계에 비해 조정 빈도와 조정량을 감소시켰으며, 조정량과 rMAE의 표준편차가 가장 낮았다.
• 투명하게 조정 가능한(TA) FSS 설계는 조정량과 rMAE의 분산이 가장 높아, 매우 일관성 없고 종종 해로운 조정이 발생함을 시사한다.
• TA 조건의 참가자들이 평균적으로 가장 큰 조정을 하였으며, 참가자당 상위 5개의 가장 큰 조정 중 80%가 이 조건에서 기인하였다.
• 더 높은 투명성에도 불구하고, TA 조건은 극단적이고 구성 요소 수준의 조정으로 인해 rMAE로 측정된 예측 정확도가 가장 열 劣하였다.
• 사용자 만족도는 투명하지 않은(O) 조건에서 가장 높았으며, 이는 훈련 없이 과도한 투명성이 인식된 사용성을 떨어뜨릴 수 있음을 시사한다.
• 피드백에 따르면, 많은 사용자가 특히 알고리즘 구성 요소를 직접 제어하게 된 TA 인터페이스의 복잡성으로 인해 과부하를 느꼈다.

Figure 2 : TA FSS: Detail view of weekly effects which allows for adjustments by dragging the white handle points.