[論文レビュー] Assessing Robustness of Deep learning Methods in Dermatological Workflow

Sourav Mishra, Subhajit Chaudhury+2 more|arXiv (Cornell University)|Jan 15, 2020

Cutaneous Melanoma Detection and Management参考文献 27被引用数 7

ひとこと要約

本研究では、ノイズやぼやけなどの非理想的な状態を模擬した、実際のユーザーが提出した画像を用いて、皮膚科診断における深層学習モデルのロバスト性を評価している。クリーンなデータでは優れた性能を示すが、現実の臨床的状況では、少なくとも10%以上、精度が著しく低下しており、一般化能力に深刻な限界があり、医療AIワークフローにおける臨床医の監視の必要性が浮き彫りになっている。

ABSTRACT

This paper aims to evaluate the suitability of current deep learning methods for clinical workflow especially by focusing on dermatology. Although deep learning methods have been attempted to get dermatologist level accuracy in several individual conditions, it has not been rigorously tested for common clinical complaints. Most projects involve data acquired in well-controlled laboratory conditions. This may not reflect regular clinical evaluation where corresponding image quality is not always ideal. We test the robustness of deep learning methods by simulating non-ideal characteristics on user submitted images of ten classes of diseases. Assessing via imitated conditions, we have found the overall accuracy to drop and individual predictions change significantly in many cases despite of robust training.

研究の動機と目的

• ノイズやぼやけなどの非理想的で現実的な画像条件下における、皮膚科診断における深層学習モデルのロバスト性を評価すること。
• 分布シフトや分布外のサンプルが、臨床ワークフローにおけるモデル性能に与える影響を調査すること。
• 注意メッシュを用いて、マルチクラス皮膚科分類におけるモデルバイアスと誤分類のパターンを分析すること。
• 多様でユーザーが提出した皮膚画像に適用された現在の深層学習アプローチの限界を特定すること。
• 医療画像認識におけるロバスト性評価の再現可能性を高めるために、ソースコードを公開すること。

提案手法

• 識別可能な特徴を除いた多様なソースから1,000枚以上の皮膚科画像を収集・整備し、皮膚科医によってラベル付けした。
• 10種類の皮膚疾患（アクネ、アロペシア、水疱、痂皮、紅斑、白斑、色素性母斑、腫瘍、潰瘍、風湿性風湿）を対象に、深層学習分類器を学習した。
• ユーザーが提出した画像に、ショットノイズおよびモーションブラーを模擬して、モデルのロバスト性をテストした。
• 合成された類似疾患クラスや分布外サンプルを用いて、分布シフト下での性能を評価した。
• モデルの意思決定を解釈し、アクネや水疱などの特定のクラスに強くバイアスがかかる原因を特定するために、注意マップを用いた。
• クリーンデータと劣化データの両方を用いたアブレーションスタディを実施し、現実の臨床的状況下での性能低下を定量的に評価した。

実験結果

リサーチクエスチョン

• RQ1 皮膚科画像分類において、ショットノイズやモーションブラーといった一般的な画像アーティファクトが深層学習の性能に与える影響は何か？
• RQ2 特に類似疾患クラス間の分布シフトが、モデルの一般化能力と精度に及ぼす影響はどの程度か？
• RQ3 マルチクラス皮膚科分類におけるモデルバイアスの主な要因は何か。また、それらは注意マップにどのように現れるか？
• RQ4 理想的なデータで学習した深層学習モデルは、品質がばらつきのある実際のユーザーが提出した画像に展開された場合でも、信頼性ある性能を維持できるか？
• RQ5 クリーンで整備されたデータと、非理想的で臨床的に代表的なデータとの間で、深層学習モデルの性能はどのように異なるか？

主な発見

• 非理想的でユーザーが提出した画像では、モデルのTop-1精度が32%にまで低下し、現実の状況下での顕著な性能ギャップが示された。
• アクネとアロペシアのみが70%以上の精度（それぞれ70%および73%）を達成したが、他の多くは著しく低い性能を示した。
• 分類器のバイアスはアクネと水疱を強く支持しており、誤分類のパターンから、特定の視覚的特徴に過剰に依存していることが示された。
• ノイズおよびぼやけを模擬した条件下でも、性能が少なくとも10%低下したため、一般的な画像アーティファクトに対して極めてロバストでないことが明らかになった。
• 合成された類似疾患クラス（例：潰瘍と痂皮）でのテストでは、精度が急激に低下し、遷移的または重複する病変を区別する困難さが浮き彫りになった。
• 注意マップから、モデルが特徴を判別しない非特徴的な部分に注目していることが判明し、学習データのパターンを超えた一般化能力に限界があることが示唆された。