[論文レビュー] Algorithmic Transparency in Forecasting Support Systems

Leif Feddersen|arXiv (Cornell University)|Nov 1, 2024

Big Data and Business IntelligenceBusiness, Management and Accounting被引用数 3

ひとこと要約

本研究は、予測支援システム（FSS）におけるアルゴリズムの透明性が、予測精度およびユーザー満足度に与える影響を調査する。時系列分解を用いて、不透明型、透明型、透明に調整可能な型の3つのFSS設計を比較した。結果は、透明性が調整頻度と誤差分散を低下させることを示したが、透明なコンポーネントの調整を許可することで極端で不正確な変更が生じ、情報過多を防ぐための訓練の必要性を浮き彫りにした。

ABSTRACT

Most organizations adjust their statistical forecasts (e.g. on sales) manually. Forecasting Support Systems (FSS) enable the related process of automated forecast generation and manual adjustments. As the FSS user interface connects user and statistical algorithm, it is an obvious lever for facilitating beneficial adjustments whilst discouraging harmful adjustments. This paper reviews and organizes the literature on judgemental forecasting, forecast adjustments, and FSS design. I argue that algorithmic transparency may be a key factor towards better, integrative forecasting and test this assertion with three FSS designs that vary in their degrees of transparency based on time series decomposition. I find transparency to reduce the variance and amount of harmful forecast adjustments. Letting users adjust the algorithm's transparent components themselves, however, leads to widely varied and overall most detrimental adjustments. Responses indicate a risk of overwhelming users with algorithmic transparency without adequate training. Accordingly, self-reported satisfaction is highest with a non-transparent FSS.

研究の動機と目的

• 予測支援システム（FSS）におけるアルゴリズムの透明性が、予測精度およびユーザー満足度に与える影響を調査すること。
• 不透明型または調整可能なインターフェースと比較して、透明なFSS設計が有害な予測調整を減少させるかどうかを評価すること。
• コンポーネント単位での調整機能が予測品質およびユーザー行動に与える影響を評価すること。
• ユーザーの訓練およびメンタルモデルの整合性が、予測における人間-アルゴリズム協働の効果に果たす役割を明らかにすること。
• 判断的調整プロセスにおける透明性、使いやすさ、予測パフォーマンスの間の設計的トレードオフを特定すること。

提案手法

• 不透明型（O）、透明型（T）、透明に調整可能な型（TA）の3つのFSS設計を、実験的に比較した。透明性と調整機能の有無が異なっていた。
• TおよびTA条件では、時系列分解を用いてトレンド、季節性、レベルといった内部コンポーネントをユーザーに可視化した。
• 参加者は、アマゾン mTurk を介した制御されたラボ実験で、GUIを用いて予測を調整した。調整頻度と正確性に報酬が関連していた。
• 調整量（AV）、乖離量（DV）、相対平均絶対誤差（rMAE）を主なパフォーマンス指標として測定した。
• 調整後のアンケートでユーザー満足度および自己報告された理解度を収集し、主観的な使いやすさと認知的負荷を評価した。
• 統計解析により、3つのFSS条件間で調整頻度、誤差分散、およびユーザー報告結果を比較した。

Figure 1 : Transparently Adjustable FSS design in its final iteration.

実験結果

リサーチクエスチョン

• RQ1 FSSにおけるアルゴリズムの透明性は、判断的予測調整の頻度および大きさにどのように影響するか？
• RQ2 不透明型や調整可能型と比較して、透明なFSS設計は予測誤差分散を低減するか？
• RQ3 透明なコンポーネントの調整を許可することで、予測精度およびユーザー満足度にどのような影響が生じるか？
• RQ4 ユーザーはどの程度アルゴリズムの透明性によって圧倒感を感じ、それが調整行動にどのように影響するか？
• RQ5 訓練なしで認知的負荷を増加させることなく、アルゴリズムの透明性がユーザー理解を向上させ、有害な調整を減少させることができるか？

主な発見

• 透明型（T）FSS設計は、不透明型（O）および透明に調整可能な型（TA）と比較して、調整頻度と調整量を低減した。調整量とrMAEの標準偏差も最低であった。
• 透明に調整可能な型（TA）FSS設計は、調整量とrMAEの分散が最も高く、不一致が強く、しばしば有害な調整が生じた。
• TA条件の参加者は平均で最大の調整をした。参加者ごとに上位5件の最大調整のうち80％がこの条件由来であった。
• 高い透明性にもかかわらず、TA条件はrMAEで最も悪い予測精度を示した。これは極端でコンポーネント単位の調整によるものであった。
• ユーザー満足度は不透明型（O）条件で最も高く、訓練なしの過剰な透明性は主観的な使いやすさを低下させる可能性があることを示唆した。
• フィードバックでは、多くのユーザーが、特にアルゴリズムコンポーネントに対する直接的な制御が与えられた場合、TAインターフェースの複雑さに圧倒されたと述べた。

Figure 2 : TA FSS: Detail view of weekly effects which allows for adjustments by dragging the white handle points.