[論文レビュー] Decompose to manipulate: Manipulable Object Synthesis in 3D Medical Images with Structured Image Decomposition

Siqi Liu, Eli Gibson+6 more|arXiv (Cornell University)|Dec 4, 2018

COVID-19 diagnosis using AI参考文献 30被引用数 21

ひとこと要約

本論文は、肺結節などの医療画像オブジェクトをセグメンテーションマスクと学習可能な残差ベクトルに分解することで、制御可能な生成が可能な3D操作可能なオブジェクト合成フレームワークを提案する。条件付きVAE、対抗的精錬、構造的分解を用いることで、現実的で多様な結節を生成し、実データと組み合わせることでCPMスコアで結節検出性能が8.44%向上する。

ABSTRACT

The performance of medical image analysis systems is constrained by the quantity of high-quality image annotations. Such systems require data to be annotated by experts with years of training, especially when diagnostic decisions are involved. Such datasets are thus hard to scale up. In this context, it is hard for supervised learning systems to generalize to the cases that are rare in the training set but would be present in real-world clinical practices. We believe that the synthetic image samples generated by a system trained on the real data can be useful for improving the supervised learning tasks in the medical image analysis applications. Allowing the image synthesis to be manipulable could help synthetic images provide complementary information to the training data rather than simply duplicating the real-data manifold. In this paper, we propose a framework for synthesizing 3D objects, such as pulmonary nodules, in 3D medical images with manipulable properties. The manipulation is enabled by decomposing of the object of interests into its segmentation mask and a 1D vector containing the residual information. The synthetic object is refined and blended into the image context with two adversarial discriminators. We evaluate the proposed framework on lung nodules in 3D chest CT images and show that the proposed framework could generate realistic nodules with manipulable shapes, textures and locations, etc. By sampling from both the synthetic nodules and the real nodules from 2800 3D CT volumes during the classifier training, we show the synthetic patches could improve the overall nodule detection performance by average 8.44% competition performance metric (CPM) score.

研究の動機と目的

• 教師あり深層学習モデルの学習に必要な高品質で多様なアノテート済み3D医療画像の不足に対処すること。
• オブジェクトの形状・テクスチャ・位置に対する制御が欠如している既存のデータ拡張法やインpainting手法の限界を克服すること。
• 医療画像解析における一般化性能の向上を目的として、操作可能な性質を有する高精細な3D結節の合成フレームワークを構築すること。
• 臨床的CTデータを用いた実世界の結節検出性能への合成結節の影響を評価すること。

提案手法

• 3Dメッシュ頂点を学習対象とする条件付き変分オートエンコーダ（cVAE）を用いて、現実的な3D結節形状を生成する。
• 画像分解ネットワークがオブジェクトパッチをセグメンテーションマスクと、強度・テクスチャ・その他の残差特徴を符号化した1次元の残差ベクトルに分離する。
• 復元ネットワークを用いて分解されたコンポonentからオブジェクトを再構築し、文脈に合わせて画像にブレンドする。
• 最終段階で2つの対抗的識別器を適用し、合成オブジェクトのリアルさを向上させるとともに、画像文脈全体の現実性を保証する。
• 残差ベクトルにより、セグメンテーションマスクを維持したままテクスチャや外観を操作可能にする。
• 残差ベクトルの確率的サンプリングにより、ランダム配置、形状変動、サイズスケーリング、テクスチャ制御が可能となる。

実験結果

リサーチクエスチョン

• RQ1 3D CT画像において、形状・サイズ・テクスチャ・位置といった制御可能な性質を有する現実的な3D医療オブジェクトを生成可能か？
• RQ2 マスクと残差ベクトルへのオブジェクトの構造的分解が、3D医療画像における効果的で操作可能な合成を可能にするか？
• RQ3 本フレームワークを用いて生成された合成結節を組み込むことで、下流の結節検出分類器の性能が向上するか？
• RQ4 合成結節を含む学習データと実データのみの学習データを用いた場合、検出モデルの性能にどのような差が生じるか？
• RQ5 検出が難しいとされる合成サンプル（分類器の信頼度が低く、識別器出力が弱いもの）を選択することで、さらに検出性能が向上するか？

主な発見

• 提案されたフレームワークは、残差ベクトルの操作性を活用することで、多様な形状・サイズ・テクスチャ・位置の現実的な3D肺結節を効果的に生成できた。
• 実データと組み合わせた場合、合成結節の導入により、コンペティション性能指標（CPM）で結節検出性能が8.44%向上した。
• 実データと合成パッチの両方からサンプリングし、特に分類器の信頼度が低く、識別器出力が弱い「難易度の高い」ケースを強調することで、検出性能がさらに向上した。
• 制御性に欠ける従来のインpaintingベースライン手法とは異なり、本手法は検出性能を向上させた。
• 定性的な評価において、生成された結節は視覚的に実際のものと区別がつかないほどの高い視覚的忠実度を達成した。
• 制限事項として、気管支壁に近い位置の結節生成が困難であり、複雑なマルチコンポonentまたはマルチラベル構造の処理ができないことが判明した。