[論文レビュー] Design and Development of a Web-based Tool for Inpainting of Dissected Aortae in Angiography Images

Alexander Prutsch, Antonio Pepe+1 more|arXiv (Cornell University)|May 6, 2020

Generative Adversarial Networks and Image Synthesis参考文献 10被引用数 5

ひとこと要約

本稿では、3D医療画像ビューアー「StudierFenster」に統合されたウェブベースのインpaintingツールを提示している。このツールを用いることで、非専門家ユーザーが事前に学習済みのEdgeConnectニューラルネットワークを用いて、CTA画像における解離した大動脈を健全な状態に仮想的に逆再生できる。ブラウザインターフェースを介した自由なマスク描画により、ディープラーニングベースのインpaintingへのアクセスが簡素化され、疾病進行に関する研究のための合成された「前後比較」の大動脈解離画像ペアの作成が可能になる。

ABSTRACT

Medical imaging is an important tool for the diagnosis and the evaluation of an aortic dissection (AD); a serious condition of the aorta, which could lead to a life-threatening aortic rupture. AD patients need life-long medical monitoring of the aortic enlargement and of the disease progression, subsequent to the diagnosis of the aortic dissection. Since there is a lack of 'healthy-dissected' image pairs from medical studies, the application of inpainting techniques offers an alternative source for generating them by doing a virtual regression from dissected aortae to healthy aortae; an indirect way to study the origin of the disease. The proposed inpainting tool combines a neural network, which was trained on the task of inpainting aortic dissections, with an easy-to-use user interface. To achieve this goal, the inpainting tool has been integrated within the 3D medical image viewer of StudierFenster (www.studierfenster.at). By designing the tool as a web application, we simplify the usage of the neural network and reduce the initial learning curve.

研究の動機と目的

• 大動脈解離の進行を分析するための、健全な状態と解離状態のペaired CTA画像が医療研究で不足している問題に対処すること。
• 技術的知識のない医療研究者や臨床医がディープラーニングベースのインpaintingに簡単にアクセスできるようにすること。
• 最先端のニューラルネットワーク（EdgeConnect）をユーザーフレンドリーなウェブアプリケーションに統合し、医療画像解析を支援すること。
• リスク評価や疾患モデリングの向上を目的として、解離前後（「ないしはなし」）の合成画像ペアの生成を可能にすること。

提案手法

• ツールは、3D医療画像ビューアーを提供する「StudierFenster」ウェブプラットフォームに、EdgeConnectニューラルネットワーク（2段階のGANモデル）を統合している。
• HTML、JavaScript、CSSで構築されたクライアントサイドのウェブインターフェースを用いて、ユーザーはCTAスライスをアップロードし、解離領域に自由なマスクを描画できる。
• マスクと画像はAJAX経由でFlaskベースのバックエンドサーバーに送信され、そこではEdgeConnectモデルがサブプロセスで実行され、インpainted結果が生成される。
• インpainting処理は敵対的訓練を用いる：まず、マスク領域内のエッジが再構築され、次に生成モデルを用いて領域全体が完成する。
• システムはウェブサーバーにホスティングされており、ローカルのソフトウェアインストールが不要で、直接ブラウザ上で利用可能である。
• 性能測定の結果、合計処理時間の約4秒のうち92％がEdgeConnectの推論に起因しており、ウェブフレームワークやネットワーク転送のオーバーヘッドは最小限である。

実験結果

リサーチクエスチョン

• RQ1 非技術的医療ユーザーが複雑なディープラーニングベースのインpaintingにアクセスするのを、ウェブインターフェースが実際に簡素化できるか？
• RQ2 事前に学習済みのEdgeConnectモデルをどのように医療画像ビューアーに統合し、大動脈解離の仮想的逆再生を可能にするか？
• RQ3 ウェブアプリケーションにディープラーニングモデルをデプロイする際のパフォーマンスオーバーヘッドはどの程度か？
• RQ4 生成された画像ペア（解離あり／なし）を用いて、大動脈壁構造の時間的変化を検討できるか？
• RQ5 ユーザーのフィードバックをどのように統合し、エッジマップ予測を改善し、インpainting品質を向上させられるか？

主な発見

• ウェブベースのインpaintingツールは、ソフトウェアのインストールが不要なブラウザベースのCTA画像における大動脈解離のインpaintingを成功裏に実現し、学習曲線を著しく軽減した。
• 1枚のCTAスライスに対するエンドツーエンドの平均処理時間は約4秒であり、そのうち92％がEdgeConnectの推論ステップに起因している。
• ユーザーインターフェースは直感的な自由なマスク描画をサポートしており、EdgeConnectのコマンドライン実行に比べて使いやすさが向上した。
• インpainted結果は、解離した大動脈を視覚的に妥当な健全な大動脈に変換できており、一部の再構築領域でぼやけた領域が観察された。
• サーバーサイドのFlaskアプリケーションとネットワーク転送は合計処理時間の8％にとどまり、ウェブスタックのオーバーヘッドは最小限であることが示された。
• システムは3Dインpaintingに拡張可能であり、クライアントサイドコードはすでに複数スライスの送信をサポートしているが、完全な3D対応にはバックエンドとモデルの更新が必要である。