[論文レビュー] Unifying Neural Learning and Symbolic Reasoning for Spinal Medical Report Generation

Zhongyi Han, Benzheng Wei+2 more|arXiv (Cornell University)|Apr 28, 2020

Medical Imaging and Analysis参考文献 71被引用数 5

ひとこと要約

本論文は、視覚的認識のためのディープニューラルネットワークと、脊椎MRIレポート生成のための記号的論理的推論を統合するニューラル記号学習（NSL）フレームワークを提案する。敵対的グラフネットワークを用いた意味的セグメンテーションと、教師なし因果的推論のためのメタ解釈学習を統合することで、NSLは、既存の手法よりも精度と耐障害性に優れた、脊椎構造の検出およびレポート生成の分野で最先端の性能を達成した。

ABSTRACT

Automated medical report generation in spine radiology, i.e., given spinal medical images and directly create radiologist-level diagnosis reports to support clinical decision making, is a novel yet fundamental study in the domain of artificial intelligence in healthcare. However, it is incredibly challenging because it is an extremely complicated task that involves visual perception and high-level reasoning processes. In this paper, we propose the neural-symbolic learning (NSL) framework that performs human-like learning by unifying deep neural learning and symbolic logical reasoning for the spinal medical report generation. Generally speaking, the NSL framework firstly employs deep neural learning to imitate human visual perception for detecting abnormalities of target spinal structures. Concretely, we design an adversarial graph network that interpolates a symbolic graph reasoning module into a generative adversarial network through embedding prior domain knowledge, achieving semantic segmentation of spinal structures with high complexity and variability. NSL secondly conducts human-like symbolic logical reasoning that realizes unsupervised causal effect analysis of detected entities of abnormalities through meta-interpretive learning. NSL finally fills these discoveries of target diseases into a unified template, successfully achieving a comprehensive medical report generation. When it employed in a real-world clinical dataset, a series of empirical studies demonstrate its capacity on spinal medical report generation as well as show that our algorithm remarkably exceeds existing methods in the detection of spinal structures. These indicate its potential as a clinical tool that contributes to computer-aided diagnosis.

研究の動機と目的

• MRI画像からの自動的で放射線科医水準の脊椎医療レポート生成の課題に対処すること。
• 空間的相関が曖昧な複雑で多様な脊椎構造を検出する困難さを克服すること。
• 限られたアノテート済みデータのため、検出された異常に対する教師なし因果的効果分析を可能にすること。
• 視覚的認識と論理的推論を組み合わせることで、包括的で臨床的に解釈可能なレポートを生成すること。
• 放射線科臨床応用に向けたスケーラブルで解釈可能かつ耐障害性のあるフレームワークの開発すること。

提案手法

• NSLフレームワークは、脊椎構造の意味的セグメンテーションを向上させるために、記号的グラフ推論モジュールを備えた生成的敵対ネットワーク（GAN）を採用する。
• 敵対的グラフネットワークは、記号的推論を介してドメイン知識を統合し、変動が激しい状況下でも椎間板、脊椎、神経根管の検出を改善する。
• メタ解釈学習により、検出された異常同士の論理的関係をモデル化することで、教師なし因果的効果分析が可能になる。
• 記号的推論は、隣接する脊椎構造間の潜在的空間相関を動的に捉え、セグメンテーションの一貫性を向上させる。
• 統一されたテンプレートが記号的推論から得た疾患所見をもとに、完全で自然言語の診断レポートを生成する。
• 堅牢で解釈可能な知識表現とラベル付けを実現するため、1階論理プログラミングが使用される。

実験結果

リサーチクエスチョン

• RQ1 統合的ニューラル記号フレームワークは、複雑なMRIスキャンにおける脊椎構造セグメンテーションの精度と耐障害性を向上させることができるか？
• RQ2 強い教師信号が得られない状況下でも、記号的論理的推論は脊椎異常間の空間的および因果的関係をどれほど効果的にモデル化できるか？
• RQ3 ニューラル的認識と記号的推論を組み合わせることで、自動医療レポート生成の解釈可能性と臨床的有用性はどの程度向上するか？
• RQ4 本フレームワークは、解剖学的複雑性や病変の多様性が異なる多様なMRIスキャンに一般化可能か？
• RQ5 敵対的学習と記号的推論を統合することで、純粋なニューラルまたは記号的ベースラインに比べ、セグメンテーションおよびレポート生成の両面で優れた性能を発揮するか？

主な発見

• NSLフレームワークは、脊椎構造セグメンテーションにおいて96.1% ± 0.3のピクセル精度と86.9% ± 2.3のDice係数を達成し、アブレーションモデルを上回った。
• 記号的グラフ推論モジュールは、基本となる生成ネットワークと比較して、ピクセル精度で0.3%、Dice係数で2.5%の性能向上を達成した。
• 敵対的学習は、基本となるオートエンコーダーと比較して、ピクセル精度で0.2%、Dice係数で2.2%の性能向上をもたらした。
• 正確なセグメンテーションと組み合わせた記号的推論モデルは、教師なしラベル付け精度100%を達成し、耐障害性と解釈可能性を示した。
• NSLフレームワーク全体は、アブレーションバージョンと比較して、セグメンテーションおよび放射線科分類の両面で顕著に優れており、すべての構成要素の必要性を示した。
• 本フレームワークは、構造的複雑性が極めて高い挑戦的なMRIスキャンにおいても強力な一般化性能を示し、特殊ケースにおいても性能低下が最小限に抑えられた。