[論文レビュー] Global explanations for discovering bias in data.

Agnieszka Mikołajczyk, Michał Grochowski+1 more|arXiv (Cornell University)|May 5, 2020

Cutaneous Melanoma Detection and Management被引用数 2

ひとこと要約

本論文は、対照的バイアス挿入を用いて影響を及ぼすアーティファクトを特定するため、表形式データおよび画像データにおけるバイアスを検出・分析するアテンションベースのグローバル説明フレームワークを提案する。皮膚腫瘍データセットにおいて、訓練画像内の黒い枠が良性から悪性への予測シフトを22%引き起こすことが明らかになった。これは、モデルの耐性を高めるためにバイアス検出が不可欠であることを示している。

ABSTRACT

In the paper, we propose attention-based summarized post-hoc explanations for detection and identification of bias in data. We propose a global explanation and introduce a step-by-step framework on how to detect and test bias. Then, the bias is evaluated with a proposed counterfactual approach to bias insertion. Because removing the unwanted bias is often a complicated and tremendous task, we automatically insert it, instead. We validate our results on the example of the skin lesion dataset. Using the method, we successfully identified and confirmed part of the possible bias-causing artifacts in dermoscopy images. We confirmed that the commonplace black frames in the training dataset images have a strong influence on the Convolutional Neural Network's prediction. After artificially adding a black frame to all images, around 22% of them changed the prediction from benign to malignant. We have shown that bias detection is an important step of making more robust models, and we discuss how to improve them

研究の動機と目的

• 機械学習データセットにおけるバイアスを検出するグローバル説明手法の開発を目的とする。
• 特に皮膚鏡画像のような医療画像において、バイアスを引き起こすアーティファクトを特定することを目的とする。
• バイアスを人工的に挿入する対照的アプローチを用いて、バイアスの影響を評価することを目的とする。
• バイアス検出が、より強固で信頼性の高いモデルを構築するために不可欠であることを示すこと。
• 一般的なデータアーティファクト、例えば黒い枠が、モデルの予測を顕著に歪めることを示すこと。

提案手法

• 本手法は、モデルの予測に影響を与える特徴を強調するグローバル後処理説明を生成するためにアテンションメカニズムを用いる。
• データレベルのアーティファクトに注目し、データ内のバイアスを検出・テストする段階的フレームワークを導入する。
• 全画像に黒い枠を人工的に追加することで、対照的バイアス挿入技術を適用する。
• バイアス挿入後のモデルの予測変化を測定し、特定のアーティファクトの影響を評価する。
• 単一のアーティファクト（例：黒い枠）が、データセット全体の予測にどの程度変化をもたらすかを評価する。
• 本手法は、皮膚腫瘍の皮膚鏡データセットを用いて検証され、実世界への適用可能性を示している。

実験結果

リサーチクエスチョン

• RQ1 皮膚鏡画像におけるどのデータレベルのアーティファクトがモデルの予測に顕著に影響を与えるか？
• RQ2 グローバル説明は、機械学習モデルにおけるバイアスをどのように検出できるか？
• RQ3 訓練画像に黒い枠が存在する場合、予測が良性から悪性にどの程度変化するか？
• RQ4 対照的バイアス挿入は、モデル行動における隠れたバイアスを効果的に明らかにできるか？
• RQ5 バイアス検出は、医療画像におけるディープラーニングモデルの耐性をどのように向上させられるか？

主な発見

• 皮膚鏡画像に黒い枠が存在すると、畳み込みニューラルネットワークの予測に強く影響を与え、良性から悪性への分類シフトが22%発生する。
• データセットの全画像に黒い枠を人工的に追加すると、モデルの予測に顕著で測定可能な変化が生じる。
• 本研究は、フレーミングのような一般的なデータアーティファクトが、モデル出力に体系的なバイアスをもたらす可能性があることを確認した。
• アテンションベースのグローバル説明は、画像データにおけるバイアスを引き起こす特徴を効果的に特定・強調できた。
• 対照的挿入によるバイアス検出は、モデル行動に及ぼす隠れたデータレベルの影響を解明するのに効果的であることが証明された。
• 研究結果は、より強固で信頼性の高い機械学習モデルを構築するためには、バイアス検出が不可欠な段階であることを強調している。