[論文レビュー] Joint Learning for Pulmonary Nodule Segmentation, Attributes and Malignancy Prediction

Botong Wu, Zhen Zhou+2 more|ArXiv.org|Feb 10, 2018

Lung Cancer Diagnosis and Treatment参考文献 12被引用数 11

ひとこと要約

本論文では、マルチウィンドウ幅/センターCT入力を用いて、肺結節のセグメンテーション、特徴の予測、悪性度分類を統合的に行う3次元マルチタスク深層学習フレームワーク、PN-SAMPを提案する。セグメンテーション、特徴、悪性度予測を統合した1つのエンドツーエンドモデルとして統合することで、悪性度予測で97.58%、特徴予測で89.33%、セグメンテーションで73.89%のDiceスコアという最先端の性能を達成するとともに、放射線科医の臨床的文脈における解釈可能性を高めるために説明可能な出力を提供する。

ABSTRACT

Refer to the literature of lung nodule classification, many studies adopt Convolutional Neural Networks (CNN) to directly predict the malignancy of lung nodules with original thoracic Computed Tomography (CT) and nodule location. However, these studies cannot tell how the CNN works in terms of predicting the malignancy of the given nodule, e.g., it's hard to conclude that whether the region within the nodule or the contextual information matters according to the output of the CNN. In this paper, we propose an interpretable and multi-task learning CNN -- Joint learning for extbf{P}ulmonary extbf{N}odule extbf{S}egmentation extbf{A}ttributes and extbf{M}alignancy extbf{P}rediction (PN-SAMP). It is able to not only accurately predict the malignancy of lung nodules, but also provide semantic high-level attributes as well as the areas of detected nodules. Moreover, the combination of nodule segmentation, attributes and malignancy prediction is helpful to improve the performance of each single task. In addition, inspired by the fact that radiologists often change window widths and window centers to help to make decision on uncertain nodules, PN-SAMP mixes multiple WW/WC together to gain information for the raw CT input images. To verify the effectiveness of the proposed method, the evaluation is implemented on the public LIDC-IDRI dataset, which is one of the largest dataset for lung nodule malignancy prediction. Experiments indicate that the proposed PN-SAMP achieves significant improvement with respect to lung nodule classification, and promising performance on lung nodule segmentation and attribute learning, compared with the-state-of-the-art methods.

研究の動機と目的

• 既存の肺結節悪性度予測の深層学習モデルには解釈性に欠け、臨床的文脈を伴わないブラックボックス意思決定がなされる場合が多いという点を是正する。
• 共有表現を活用したマルチタスク学習により、結節分類、セグメンテーション、特徴予測の性能を向上させる。
• 放射線科医に意味的特徴（例：縁の明瞭さ、石灰化）と正確な結節セグメンテーションマスクを併記することで、モデルの解釈性を向上させる。
• 複数のウィンドウ幅/ウィンドウセンター（WW/WC）設定を組み込むことで、放射線科医の実際の診断プロトコルを模倣し、入力画像の情報量を豊かにする。
• 共有監視と特徴学習により、タスク間の共同学習がすべてのタスクの性能向上に寄与することを示す。

提案手法

• モデルは2チャネル入力を利用し、異なるWW/WC設定からの結節パッチをチャネル次元に沿ってスタックすることで、特徴表現を豊かにする。
• セグメンテーション、特徴分類、悪性度予測の共同学習を実現するため、共有ブランチとタスク固有ブランチを備えた3次元畳み込みニューラルネットワークを設計する。
• セグメンテーションブランチはスキップ接続により分類ブランチに接続されており、分類損失が逆誤差伝搬によりセグメンテーションの最適化に反映される。
• 交差エントロピー損失の重み付き和を用いて、セグメンテーション、特徴、悪性度予測損失を同時に最適化することでマルチタスク学習を実装する。
• 64×64×64×2の入力ボリュームを用い、0.6 mmの等方的解像度に正規化したLIDC-IDRIデータセット上でエンドツーエンドでモデルを学習する。
• マルチスケールのWW/WC戦略をフレームワークに組み込み、放射線科医のウィンドウ設定技術を模倣することで、微細な結節特徴への感受性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 セグメンテーション、特徴、悪性度予測の共同学習は、単一タスクモデルと比較して、すべてのタスクの性能向上をもたらすか？
• RQ2 複数のウィンドウ幅/ウィンドウセンター設定を組み込むことで、モデルの微細な結節特徴の検出能力と分類精度が向上するか？
• RQ3 マルチタスク学習により、意味的特徴とセグメンテーションマスクを提供することで、どの程度解釈性が向上するか？
• RQ4 LIDC-IDRIデータセット上での悪性度予測、セグメンテーション、特徴学習の観点から、提案されたマルチタスクアーキテクチャは最先端手法と比較してどのように優れているか？
• RQ5 セグメンテーションを監視信号として統合することで、悪性度分類の性能向上が図れるか？

主な発見

• 提案されたPN-SAMPは、肺結節の悪性度予測で97.58%の精度を達成し、比較したすべての最先端手法を上回った。
• 9つの高レベル特徴の予測で89.33%の精度を達成し、特徴学習の優れた性能を示した。
• セグメンテーションタスクではDice係数が73.89%に達し、3D-UNetベースライン（1.99%上回り）に比べて顕著に優れていたが、パラメータ数は1600万対150万と大幅に少ない。
• マルチタスク学習により、セグメンテーションで3.69%、分類で4.69%の性能向上が単一タスクベースラインと比較して確認された。
• 複数のWW/WC入力を組み合わせた結果が、最も優れた全体的な性能を示し、結節の外観特徴を豊かにすることの価値を裏付けた。
• 定性的な結果では、悪性度と特徴の予測が正解と整合的であり、大多数の予測が真値から±1の範囲内に収まっていた。