[論文レビュー] A Critic Evaluation of Methods for COVID-19 Automatic Detection from X-Ray Images

Gianluca Maguolo, Loris Nanni|arXiv (Cornell University)|Apr 27, 2020

COVID-19 diagnosis using AI被引用数 4

ひとこと要約

この論文は、X線画像からの自動COVID-19検出のためのディープラーニング手法を批判的に評価し、肺領域が除去された場合でもモデルが高い精度を達成できることを示しており、病気とは関係のないパターンを学習している可能性を示している。著者らは、テストプロトコルの公平性を評価するための指標を提案し、現在の評価手法がデータセットバイアスのため根本的に欠陥を抱えていることを示している。

ABSTRACT

In this paper, we compare and evaluate different testing protocols used for automatic COVID-19 diagnosis from X-Ray images in the recent literature. We show that similar results can be obtained using X-Ray images that do not contain most of the lungs. We are able to remove the lungs from the images by turning to black the center of the X-Ray scan and training our classifiers only on the outer part of the images. Hence, we deduce that several testing protocols for the recognition are not fair and that the neural networks are learning patterns in the dataset that are not correlated to the presence of COVID-19. Finally, we show that creating a fair testing protocol is a challenging task, and we provide a method to measure how fair a specific testing protocol is. In the future research we suggest to check the fairness of a testing protocol using our tools and we encourage researchers to look for better techniques than the ones that we propose.

研究の動機と目的

• X線画像からのCOVID-19検出に用いられるディープラーニングモデルの現在のテストプロトコルの妥当性を調査すること。
• モデルがデータ内の疾患関連特徴を学習しているのか、それとも誤ったパターンを学習しているのかを評価すること。
• 入力画像から肺領域が完全に除去された場合でも、モデルが高い性能を達成できることを示すこと。
• 医療画像分類におけるテストプロトコルの公平性を定量的に測定する手法を提案すること。
• 今後の研究が、より厳密で偏りのない評価基準を採用するよう促すこと。

提案手法

• 著者らは、肺を含む中心領域をマスクし、黒にしたX線画像で分類器を訓練した。
• 従来の研究と同一のトレーニングおよびテストプロトコルを用いて、標準ベンチマークデータセット上でモデルの性能を評価した。
• 肺領域を除去した場合のモデルの性能低下を測定することで、モデルがどの程度の影響を受けるかを評価する公平性指標を導入した。
• この手法により、モデルが解剖学的特徴ではなく、肺以外の領域に依存しているかどうかを評価した。
• 複数の既存モデルとデータセットにこの指標を適用し、異なるプロトコル間での公平性を比較した。
• 制御された画像マスキングを伴う、標準的なディープラーニングアーキテクチャ（例：ResNet）および標準的なデータ拡張技術を用いた。

実験結果

リサーチクエスチョン

• RQ1 肺領域がX線画像から完全に除去された場合でも、COVID-19検出のためのディープラーニングモデルは高い精度を達成できるか？
• RQ2 文献に見られる現在のテストプロトコルは、どの程度疾患特異的パターンではなく、肺以外の特徴に依存しているか？
• RQ3 医療画像分類におけるテストプロトコルの公平性をどのように定量的に測定できるか？
• RQ4 偏ったまたは代表的でないデータを使用した場合、モデルの一般化性能および臨床的信頼性にどのような影響があるか？
• RQ5 研究者が、モデルがデータアーチファクトではなく、関連する診断的特徴を学習していることをどのように保証できるか？

主な発見

• 肺領域が除去されたX線画像で訓練されたモデルでさえも高い分類精度を達成しており、肺以外の特徴に依存していることが示唆される。
• X線の中心領域が黒く塗りつぶされても、モデルの性能が依然として高いままであるため、モデルが肺特異的パターンを学習していないことが示されている。
• 提案された公平性指標は、画像マスキングに対して脆弱なテストプロトコルを効果的に同定でき、現在の評価手法におけるバイアスを明らかにした。
• 文献に掲載された複数の既存手法は、疾患検出のおかげで高い精度を達成しているのではなく、データセット固有のアーチファクトや非解剖的パターンによるものであることが判明した。
• 本研究では、公平な評価には精度以上の要件が必要であり、肺の除去のような構造的摂動に対するモデルの頑健性の検証が不可欠であることを示した。
• 著者らは、現在の評価プロトコルが真の診断能力を評価するのに信頼できないと結論づけ、今後の研究において標準化された公平性評価を導入するよう呼びかけた。