[論文レビュー] Binary classification models with "Uncertain" predictions

Damjan Krstajić, Ljubomir Buturović+2 more|arXiv (Cornell University)|Nov 27, 2017

Fuzzy Systems and Optimization参考文献 7被引用数 4

ひとこと要約

本論文は、従来のモデルを拡張する二値分類フレームワークを提案しており、意思決定に十分な自信がない場合に明示的に「不確実」を示せるようにする第3の予測クラス「不確実」を導入している。確信度の高い予測と、追加の検査を要するケースを区別できるように、校正された確率閾値と意思決定ルールを用いた不確実性推定を組み込むことで、医療および化学分野の実世界意思決定を改善する。

ABSTRACT

Binary classification models which can assign probabilities to categories such as "the tissue is 75% likely to be tumorous" or "the chemical is 25% likely to be toxic" are well understood statistically, but their utility as an input to decision making is less well explored. We argue that users need to know which is the most probable outcome, how likely that is to be true and, in addition, whether the model is capable enough to provide an answer. It is the last case, where the potential outcomes of the model explicitly include "don't know" that is addressed in this paper. Including this outcome would better separate those predictions that can lead directly to a decision from those where more data is needed. Where models produce an "Uncertain" answer similar to a human reply of "don't know" or "50:50" in the examples we refer to earlier, this would translate to actions such as "operate on tumour" or "remove compound from use" where the models give a "more true than not" answer. Where the models judge the result "Uncertain" the practical decision might be "carry out more detailed laboratory testing of compound" or "commission new tissue analyses". The paper presents several examples where we first analyse the effect of its introduction, then present a methodology for separating "Uncertain" from binary predictions and finally, we provide arguments for its use in practice.

研究の動機と目的

• 証拠が不十分な場合でさえも意思決定を強制する標準的な二値分類器の限界を是正すること。
• 腫瘍学や毒性学などの高リスク分野における実用的意思決定を改善し、モデルが「不確実」と出力できるようにすること。
• 自信のある予測と追加データを要するケースを区別するための方法論を形式化すること。
• 「不確実」の予測が、急いで決定を下すのではなく、追加の検査などの行動を引き起こすフレームワークを提供すること。
• 組織分類および化学毒性分野における実世界の例を通じて、不確実性に配慮したモデルの有効性を示すこと。

提案手法

• モデルは二値分類を拡張し、低信頼度の予測を表す第3の出力クラス「不確実」を導入する。
• 信頼度閾値に基づいて、予測が「不確実」とラベル付けされるべきかどうかを決定するために、校正された確率推定を用いる。
• 「より確からしい」予測と「不確実」の結果を分離する意思決定ルールを適用し、人間の判断を模倣する。
• 三クラス出力（「腫瘍性」、「非腫瘍性」、「不確実」）を考慮した指標を用いてモデルのパフォーマンスを評価する。
• フレームワークは医療および化学的応用からの実データセットで検証され、実用的意思決定ワークフローとの整合性が向上していることが示された。
• 「不確実」の予測が統計的に意味のあるものであり、恣意的ではないことを保証するため、不確実性の定量化技術を組み込む。

実験結果

リサーチクエスチョン

• RQ1 二値分類モデルは、明示的な「不確実」予測クラスをどのように拡張できるか？
• RQ2 「不確実」予測を導入することで、医療および化学的文脈における意思決定の正確性と信頼性にどのような影響を与えるか？
• RQ3 不確実性はどのように定量化され、校正され、その結果「不確実」の予測が意味的であり、誤解を招かないように保証されるか？
• RQ4 どのような実用的状況で、「不確実」の予測を許容することで、二値的意思決定を強制するよりも優れた結果が得られるか？
• RQ5 「不確実」の予測を含めることで、モデルの出力と実世界の意思決定ワークフローとの整合性は向上するか？

主な発見

• 「不確実」クラスの導入により、信頼度が低い場合に高リスクの意思決定を避けることができ、誤った行動のリスクが低減する。
• 「不確実」と出力するモデルは、ユーザーにラボ分析や組織の再評価などの追加検査を促すことができ、全体的な意思決定品質が向上する。
• 直接意思決定に影響を与える予測と、追加のデータ収集を要する予測の間で、より良い分離が可能になる。
• 人間の反応（「知らない」や「50:50」）を模倣することで、曖昧なケースに適切に対応する意思決定が改善される。
• 校正された確率推定を用いて不確実性閾値を定義することで、統計的厳密性を維持し、信頼性を確保する。
• 実証例では、モデルの「不確実」予測が、毒性学や腫瘍学における実世界のニーズと一致しており、さらなる検査を引き起こすことが示された。