[論文レビュー] Crowd disagreement about medical images is informative

Veronika Cheplygina, Josien P. W. Pluim|arXiv (Cornell University)|Jun 21, 2018

Cutaneous Melanoma Detection and Management参考文献 7被引用数 5

ひとこと要約

本研究では、皮膚腫瘍画像のクラウドアノテーションにおける不一致が、診断に予測的情報を含むかどうかを調査する。ISIC 2017 データセットの皮膚腫瘍画像を用いて、平均アノテーション（コンセンサス）が最高の分類性能（AUC 0.99）を示す一方で、クラウドラベルの分散やその他の分布モーメントも、ランダムより優れた予測能力を示す（AUC 0.71–0.73）ことが示された。これは、不一致が情報を持っていることを示しており、機械学習パイプラインで無視すべきでないことを示している。

ABSTRACT

Classifiers for medical image analysis are often trained with a single consensus label, based on combining labels given by experts or crowds. However, disagreement between annotators may be informative, and thus removing it may not be the best strategy. As a proof of concept, we predict whether a skin lesion from the ISIC 2017 dataset is a melanoma or not, based on crowd annotations of visual characteristics of that lesion. We compare using the mean annotations, illustrating consensus, to standard deviations and other distribution moments, illustrating disagreement. We show that the mean annotations perform best, but that the disagreement measures are still informative. We also make the crowd annotations used in this paper available at \url{https://figshare.com/s/5cbbce14647b66286544}.

研究の動機と目的

• 皮膚腫瘍画像のクラウドアノテーションにおける不一致が、メラノーマ診断に予測的信号を含むかどうかを調査すること。
• コンセンサスベースの特徴（平均）と不一致ベースの特徴（標準偏差、歪度、尖度）の分類性能を比較すること。
• クラウドアノテーションの分布モーメントを組み込むことで、皮膚腫瘍診断の機械学習モデルが改善されるかどうかを評価すること。
• クラウドソースの視覚的特徴アノテーションを医療画像分類における補助信号として使用する可能性を検討すること。

提案手法

• 学生プロジェクトにおいて、1画像あたり6名のアノテーターが皮膚腫瘍の特徴（非対称性、境界、色、皮膚鏡的構造、ブルーグロー）を視覚的に評価した。
• 欠損値のある画像を除いた後、96枚の画像を用い、全30特徴（5つの特徴タイプ × 6名のアノテーター）を取得した。
• 各特徴を平均0、標準偏差1に正規化し、データ構造の可視化のために主成分分析を適用した。
• 10分割交差検証を用いてロジスティック回帰分類器を訓練し、受信者操作特性曲線下積分（AUC）を評価指標とした。
• 全30特徴、平均値のみ、および各特徴タイプごとの高次モーメント（標準偏差、歪度、尖度）のみを用いた性能を比較した。
• メラノーマと非メラノーマの両クラスにおける不一致指標（例：標準偏差）の分布を別々に分析し、診断的関連性を理解した。

実験結果

リサーチクエスチョン

• RQ1 クラウドアノテーションによる皮膚腫瘍の視覚的特徴評価は、ランダムな水準を上回るメラノーマ状態の予測が可能か？
• RQ2 コンセンサス（アノテーションの平均）は、不一致（標準偏差、歪度、尖度）よりもメラノーマ診断の予測で優れているか？
• RQ3 アノテーションのばらつきに統計的に有意な信号が存在し、平均値を超えて分類に寄与しているか？
• RQ4 色、境界、皮膚鏡的構造などの異なる視覚的特徴は、コンセンサスおよび不一致指標の両方の予測力にどのように寄与しているか？

主な発見

• クラウドアノテーションの平均が最高の分類性能を示し、平均AUCは0.99であった。これはコンセンサスが予測に最適であることを示している。
• アノテーションの標準偏差は平均AUC 0.71を示し、ランダムな水準をはるかに上回っており、不一致が情報を持っていることを示している。
• アノテーションの歪度は平均AUC 0.73を示し、クラウド反応の非正規分布パターンが診断的信号を含んでいることをさらに確認した。
• 色が最も情報量の多い特徴タイプであり、単独で使用した場合の平均AUCは0.93であった。次に境界（0.82）、皮膚鏡的構造（0.81）が続いた。
• ほとんどの特徴タイプにおいて、非メラノーマ症例の標準偏差（不一致）がメラノーマ症例よりも高かった。これは、メラノーマ腫瘍はより一貫して異常と判断されている可能性を示唆している。
• 不一致特徴の各fold間での性能のばらつきが大きかった。これは、信号は存在するが、不安定であり、一部の状況では性能を損なう可能性があることを示している。