[論文レビュー] A Study on Mitigating Hard Boundaries of Decision-Tree-based Uncertainty Estimates for AI Models

Pascal Gerber, Lisa Jöckel+1 more|arXiv (Cornell University)|Jan 10, 2022

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

本稿では、AIモデルの不確実性推定における意思決定木ベースの不確実性推定の硬い意思決定境界を緩和するために、アンサンブル手法を不確実性ラッパー枠組みに統合する手法を提案する。CARLAシミュレータから得た歩行者検出データとYOLOv3を用いた研究では、ランダムフォレストが境界感度を低減させながらBrierスコアの性能を最も効果的に向上させたが、解釈可能性の低下と実行時間の複雑化を伴った。

ABSTRACT

Outcomes of data-driven AI models cannot be assumed to be always correct. To estimate the uncertainty in these outcomes, the uncertainty wrapper framework has been proposed, which considers uncertainties related to model fit, input quality, and scope compliance. Uncertainty wrappers use a decision tree approach to cluster input quality related uncertainties, assigning inputs strictly to distinct uncertainty clusters. Hence, a slight variation in only one feature may lead to a cluster assignment with a significantly different uncertainty. Our objective is to replace this with an approach that mitigates hard decision boundaries of these assignments while preserving interpretability, runtime complexity, and prediction performance. Five approaches were selected as candidates and integrated into the uncertainty wrapper framework. For the evaluation based on the Brier score, datasets for a pedestrian detection use case were generated using the CARLA simulator and YOLOv3. All integrated approaches achieved a softening, i.e., smoothing, of uncertainty estimation. Yet, compared to decision trees, they are not so easy to interpret and have higher runtime complexity. Moreover, some components of the Brier score impaired while others improved. Most promising regarding the Brier score were random forests. In conclusion, softening hard decision tree boundaries appears to be a trade-off decision.

研究の動機と目的

• 意思決定木ベースの不確実性クラスタリングにおける硬い意思決定境界が引き起こす不確実性の急激な変化の問題に対処すること。
• 不確実性推定の滑らかさ、解釈可能性、予測性能、計算効率を保ちながら、不確実性推定を滑らかにする。
• 不確実性ラッパー枠組みにおける意思決定木の置き換えや補完に適した代替手法の評価。
• 不確実性推定の品質、解釈可能性、計算コストの間のトレードオフを評価すること。

提案手法

• ランダムフォレスト、k-NN、SVM、ロジスティック回帰、k-meansの5つの候補手法を不確実性ラッパー枠組みに統合し、意思決定木の置き換えや補完を試みる。
• 入力品質の変動を制御できるように、CARLAシミュレータを用いて合成された歩行者検出データセットを生成する。
• YOLOv3をベースとなる物体検出モデルとして採用し、不確実性推定に使用する予測結果を生成する。
• Brierスコアを主な指標として、異なる手法における不確実性のキャリブレーションを評価する。
• 特徴の類似度に基づいて入力をクラスタリングし、不確実性レベルを割り当てる。硬い意思決定木による割り当てを、ソフト割り当て手法に置き換える。
• 各手法が不確実性の滑らかさ、解釈可能性、計算オーバーヘッドに与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 ソフト割り当て手法は、硬い意思決定木と比較して、不確実性境界の感度をどの程度低減できるか？
• RQ2 不確実性キャリブレーション（Brierスコア）と解釈可能性の両面で最良のトレードオフを達成するのはどの代替手法か？
• RQ3 各手法が実行時間の複雑さとモデル性能に与える影響は何か？
• RQ4 境界の緩和技術は、予測精度を劣化させることなく、不確実性推定をどの程度改善できるか？
• RQ5 Brierスコアの異なる構成要素は、提案された緩和手法に対してどのように反応するか？

主な発見

• 統合されたすべての手法が、意思決定木ベースの不確実性割り当ての硬い意思決定境界を効果的に緩和し、不確実性の急激な変化を低減した。
• ランダムフォレストが全手法の中で最も良好なBrierスコアの改善を達成し、不確実性のキャリブレーションが向上したことを示した。
• 性能向上にもかかわらず、ランダムフォレストやk-NNのようなソフト手法は、単一の意思決定木に比べて解釈性が低下した。
• アンサンブルベースの手法では実行時間の複雑さが著しく増加し、特にランダムフォレストとk-NNで顕著だった。
• 一部のBrierスコアの構成要素が、特定の手法では悪化した。これは、キャリブレーション品質における部分的なトレードオフを示している。
• 本研究では、意思決定境界の緩和が、不確実性の滑らかさ、解釈可能性、計算コストの間で根本的なトレードオフを伴うことを確認した。