[論文レビュー] Producing radiologist-quality reports for interpretable artificial intelligence

William A. Gale, Luke Oakden‐Rayner+3 more|arXiv (Cornell University)|Jun 1, 2018

Topic Modeling参考文献 17被引用数 23

ひとこと要約

本論文では、再帰的ニューラルネットワークと視覚的注目を用いたモデルに依存しない手法を提案し、深層学習ベースの医療画像分類のための放射線科医水準の自然言語による説明を生成する。臨床医は、単独のサリエンシー図よりも、特に視覚的説明と組み合わせた場合、これらのテキスト説明を好むことが示された。放射線科医による評価では、骨折の位置（90％）と特徴（98％）を高い正確性で記述していた。

ABSTRACT

Current approaches to explaining the decisions of deep learning systems for medical tasks have focused on visualising the elements that have contributed to each decision. We argue that such approaches are not enough to "open the black box" of medical decision making systems because they are missing a key component that has been used as a standard communication tool between doctors for centuries: language. We propose a model-agnostic interpretability method that involves training a simple recurrent neural network model to produce descriptive sentences to clarify the decision of deep learning classifiers. We test our method on the task of detecting hip fractures from frontal pelvic x-rays. This process requires minimal additional labelling despite producing text containing elements that the original deep learning classification model was not specifically trained to detect. The experimental results show that: 1) the sentences produced by our method consistently contain the desired information, 2) the generated sentences are preferred by doctors compared to current tools that create saliency maps, and 3) the combination of visualisations and generated text is better than either alone.

研究の動機と目的

• 臨床的ニーズに応える解釈可能なAIを提供するため、臨床医が信頼できる人間らしい説明を生成すること。
• サリエンシー図の限界を克服するため、診断的推論を伝える自然言語の記述を導入すること。
• 既存の診断データに加えて最小限の追加ラベル付けを必要とし、モデルに依存しない手法を開発すること。
• 生成されたテキスト説明が、視覚的説明のみよりも臨床医に好まれるかどうかを評価すること。
• テキストと視覚的説明を組み合わせた場合、単独のモダリティよりも診断の解釈可能性が向上するかどうかを評価すること。

提案手法

• 事前に訓練された深層学習分類器の意思決定を説明する記述文を生成するため、視覚的注目を備えた再帰的ニューラルネットワークを訓練する。
• 元の放射線科レポートから抽出した、股関節骨折の位置と特徴に関する簡略化された放射線科医がアノテートした記述用語のセットを用いて訓練する。
• 一貫性と臨床的妥当性を確保するため、キーパーソンの解剖学的用語と記述用語の制限付き語彙を訓練データに使用する。
• 50,363枚の前向き骨盤X線画像（うち4,010例が股関節骨折）の大きなデータセットに、ベースモデルとしてDenseNet分類器を適用する。
• 比較のため、サリエンシー図はSmoothGrad法を用いて生成する。
• テキストの質と臨床的好みの両面で、放射線科医によるスコアリングを通じて説明を評価する。

実験結果

リサーチクエスチョン

• RQ1 シンプルな再帰的ニューラルネットワークは、臨床的に意味があり、放射線科医に好まれる自然言語の説明を生成できるか？
• RQ2 生成されたテキストの質は、元の放射線科レポートと比較して、骨折の位置と特徴を記述する際にどの程度優れているか？
• RQ3 臨床医はAI意思決定の説明として、テキストベースの説明をサリエンシー図のみよりも好むか？
• RQ4 テキストと視覚的説明の組み合わせは、単独のモダリティよりも効果的か？
• RQ5 この手法は、再訓練を必要とせず、任意の深層学習分類器に適用可能で、モデルに依存しないか？

主な発見

• 生成された文は、元の放射線科レポートの99％と比較して、股関節骨折の正しい解剖学的位置を90％の正確性で記述した。
• モデルは、骨折の特徴を98％の正確性で記述したが、元のレポートは正しく78％の割合にとどまり、顕著に優れた結果を示した。
• 放射線科医による評価では、生成されたテキスト説明の平均スコアは10点中7.0点であり、単独のサリエンシー図（10点中4.4点）よりも顕著に高い評価を得た。
• サリエンシー図と生成されたテキストの組み合わせは、平均8.8点（10点満点）の最高スコアを得ており、マルチモーダルな説明が強く好まれることを示した。
• この手法はモデルに依存せず、分類と説明の両方で既存の診断ラベルを活用するため、追加ラベルの最小限の必要性を満たしている。
• このアプローチは、複雑なモデル意思決定を、臨床的推論と一致する簡潔で人間が読みやすい記述に要約することに成功した。