[論文レビュー] T-Net: Encoder-Decoder in Encoder-Decoder architecture for the main vessel segmentation in coronary angiography.

Tae Joon Jun, Jihoon Kweon+2 more|arXiv (Cornell University)|May 10, 2019

Retinal Imaging and Analysis参考文献 21被引用数 3

ひとこと要約

T-Netは、特徴マップのサイズに跨る複数のスキップ接続を可能にするエンコーダ・デコーダ・イン・エンコーダ・デコーダ（EDiED）アーキテクチャを提案し、冠動脈アンジオグラフィにおける血管セグメンテーションを向上させる。1つのブロック内でプーリングとアップサンプリングを戦略的に配置することにより、低レベルから高レベルの特徴をデコーダの開始部に直接供給し、Dice類似度係数（DSC）を0.890に達成した。これはU-Netよりも0.170高い。

ABSTRACT

In this paper, we proposed T-Net containing a small encoder-decoder inside the encoder-decoder structure (EDiED). T-Net overcomes the limitation that U-Net can only have a single set of the concatenate layer between encoder and decoder block. To be more precise, the U-Net symmetrically forms the concatenate layers, so the low-level feature of the encoder is connected to the latter part of the decoder, and the high-level feature is connected to the beginning of the decoder. T-Net arranges the pooling and up-sampling appropriately during the encoder process, and likewise during the decoding process so that feature-maps of various sizes are obtained in a single block. As a result, all features from the low-level to the high-level extracted from the encoder are delivered from the beginning of the decoder to predict a more accurate mask. We evaluated T-Net for the problem of segmenting three main vessels in coronary angiography images. The experiment consisted of a comparison of U-Net and T-Nets under the same conditions, and an optimized T-Net for the main vessel segmentation. As a result, T-Net recorded a Dice Similarity Coefficient score (DSC) of 0.815, 0.095 higher than that of U-Net, and the optimized T-Net recorded a DSC of 0.890 which was 0.170 higher than that of U-Net. In addition, we visualized the weight activation of the convolutional layer of T-Net and U-Net to show that T-Net actually predicts the mask from earlier decoders. Therefore, we expect that T-Net can be effectively applied to other similar medical image segmentation problems.

研究の動機と目的

• U-Netの単一のスキップ接続による制限を解消し、エンコーダとデコーダ間の特徴融合を制限する要因を除去する。
• エンコーダのすべての特徴（低レベルから高レベルまで）をデコーダの開始部に早期に供給することで、より効果的な特徴伝搬を実現する。
• 造影画像における3つの主要な冠動脈のセグメンテーション精度を向上させる。
• 他の医用画像セグメンテーションタスクに応用可能なスケーラブルなアーキテクチャを設計する。

提案手法

• 小さなエンコーダ・デコーダを主なエンコーダ・デコーダ内に埋め込んだEDiED（エンコーダ・デコーダ・イン・エンコーダ・デコーダ）構造を導入する。
• エンコーディングおよびデコーディング中にプーリングとアップサンプリングの操作を再編成し、1つのブロック内でさまざまなサイズの特徴マップを生成する。
• すべてのエンコーダ特徴マップからデコーダの開始部への複数のスキップ接続を確立し、早期かつ包括的な特徴融合を可能にする。
• 対称的なエンコーディングおよびデコーディングパスを用い、適応的な特徴マップサイズ管理により、空間的および意味的情報を保持する。
• 冠動脈のピクセル単位のセグメンテーションに二値交差エントロピー損失を用いて、ネットワークをエンドツーエンドで訓練する。
• 畳み込み層の活性化を分析するための可視化技術を適用し、モデルがデコーダの初期予測に注目していることを検証する。

実験結果

リサーチクエスチョン

• RQ1 複数のスキップ接続を備えた強化されたエンコーダ・デコーダアーキテクチャは、冠動脈アンジオグラフィにおける血管セグメンテーション精度を向上させることができるか？
• RQ2 デコーダの開始部に低レベルおよび高レベルの特徴を同時に供給することで、U-Netの単一のスキップ接続よりも優れたマスク予測が得られるか？
• RQ3 T-Netアーキテクチャは、主な冠動脈血管セグメンテーションにおいて、U-Netと比較してどれほど高いDice類似度係数（DSC）を達成するか？
• RQ4 活性化パターンから示されるように、モデルはどれほど早期のデコーダ層を活用して正確なセグメンテーションを実現しているか？

主な発見

• T-Netは、主な血管セグメンテーションタスクでDice類似度係数（DSC）0.815を達成し、これはU-Netの性能よりも0.095高い。
• 最適化されたT-NetバージョンはDSC 0.890を達成し、これはU-Netよりも0.170の向上を示した。
• 畳み込み層の重みの可視化により、T-Netがマスク予測に早期のデコーダ層を活用していることが確認され、特徴の効果的利用が示された。
• T-Netにおけるマルチスケールのスキップ接続メカニズムにより、異なる抽象レベル間でのより強固な特徴統合が可能になった。
• 境界検出に高い精度を要する医用画像セグメンテーションタスクにおいて、優れた一般化性能を示した。
• T-Netのアーキテクチャは、類似した階層的特徴要件を有する他の医用画像アプリケーションへも応用可能である。