[論文レビュー] Learning to diagnose from scratch by exploiting dependencies among labels

Yao Li, Eric Poblenz+4 more|arXiv (Cornell University)|Oct 28, 2017

COVID-19 diagnosis using AI参考文献 21被引用数 195

ひとこと要約

この論文はDenseNetエンコーダとLSTMベースのデコーダを用いて14の異常の依存関係をモデリングし、ImageNetでの事前学習なしで最先端の結果を達成し、ゼロから胸部X線診断モデルを訓練します。

ABSTRACT

The field of medical diagnostics contains a wealth of challenges which closely resemble classical machine learning problems; practical constraints, however, complicate the translation of these endpoints naively into classical architectures. Many tasks in radiology, for example, are largely problems of multi-label classification wherein medical images are interpreted to indicate multiple present or suspected pathologies. Clinical settings drive the necessity for high accuracy simultaneously across a multitude of pathological outcomes and greatly limit the utility of tools which consider only a subset. This issue is exacerbated by a general scarcity of training data and maximizes the need to extract clinically relevant features from available samples -- ideally without the use of pre-trained models which may carry forward undesirable biases from tangentially related tasks. We present and evaluate a partial solution to these constraints in using LSTMs to leverage interdependencies among target labels in predicting 14 pathologic patterns from chest x-rays and establish state of the art results on the largest publicly available chest x-ray dataset from the NIH without pre-training. Furthermore, we propose and discuss alternative evaluation metrics and their relevance in clinical practice.

研究の動機と目的

• 多くの相関する異常を含む胸部X線のマルチラベル診断に取り組む。
• バイアスを減らし臨床的関連性を高めるために事前学習への依存を排除する。
• すべてのターゲットにわたる予測性能を向上させるためにラベル間の依存性を活用する。
• 従来のBLEU様のスコアを超える臨床的に意味のある評価指標を導入する。

提案手法

• 高解像度の胸部X線画像を処理する密結合のDenseNet風画像エンコーダを用いる。
• ラベル依存性を捉えるためにリカレントニューラルネットワークデコーダで複数の異常を予測する。
• 事前定義のストップトークンなしに各異常の有無を可能にするために各ステップでシグモイドベースのデコーディングを適用する。
• ImageNet事前学習なしでゼロからエンドツーエンドで訓練する。
• 依存性を考慮したデコーディングの2つのバリアントを用いた実験とラベル予測の順序を比較する。

実験結果

リサーチクエスチョン

• RQ1 ラベル依存性を意識したデコーダが、ゼロから訓練された場合に多ラベル胸部X線診断を改善できるか？
• RQ2 ラベル間の条件付き依存を含めることが予測性能に与える影響は何か？
• RQ3 十分な訓練データが利用可能な場合、依存性モデリングにおける異なるラベル順序は性能に影響するか？

主な発見

異常	Wangら（2017）AUC	model_a AUC
atelectasis	0.716	0.772
cardiomegaly	0.807	0.904
effusion	0.784	0.859
infiltration	0.609	0.695
mass	0.706	0.792
nodule	0.671	0.717
pneumonia	0.633	0.713
pneumothorax	0.806	0.841
consolidation	0.708	0.788
edema	0.835	0.882
emphysema	0.815	0.829
fibrosis	0.769	0.767
PT	0.708	0.765
hernia	0.767	0.914
A.V.G.	0.738	0.798
no finding	-	0.762

• 独立したラベルを持つベースラインモデルをゼロから訓練したものが、事前学習済みの最先端を上回る。
• ラベル間の依存性をモデリングすることで、複数の指標（NLL、DICE、PESS、PCSS）で改善が見られる。
• モデルが十分に訓練されている場合、ラベル依存性の順序は効果が限られる。
• 本手法はChestX-ray8データセットで前手法と比較して異常ごとのAUCが高い。