[論文レビュー] The Importance of Skip Connections in Biomedical Image Segmentation

Michal Drozdzal, Eugene Vorontsov+3 more|arXiv (Cornell University)|Aug 14, 2016

Advanced Neural Network Applications参考文献 19被引用数 112

ひとこと要約

この論文は、生体医用画像分割のための非常に深い Fully Convolutional Networks における長いスキップ接続と短いスキップ接続の影響を分析し、両タイプを組み合わせると訓練を加速し、後処理なしで EM データに対するほぼ最先端の性能を実現できることを示している。

ABSTRACT

In this paper, we study the influence of both long and short skip connections on Fully Convolutional Networks (FCN) for biomedical image segmentation. In standard FCNs, only long skip connections are used to skip features from the contracting path to the expanding path in order to recover spatial information lost during downsampling. We extend FCNs by adding short skip connections, that are similar to the ones introduced in residual networks, in order to build very deep FCNs (of hundreds of layers). A review of the gradient flow confirms that for a very deep FCN it is beneficial to have both long and short skip connections. Finally, we show that a very deep FCN can achieve near-to-state-of-the-art results on the EM dataset without any further post-processing.

研究の動機と目的

• 生体医用画像分割のための深い FCN におけるスキップ接続が訓練ダイナミクスに与える影響を調査する。
• セグメンテーションを行うために拡張経路を持つ Residual Networks を拡張する。
• 収束と性能における長いスキップ接続と短いスキップ接続の相対的な利点を評価する。

提案手法

• セグメンテーションのために残差ネットワークをアップサンプリング経路を備えた Fully Convolutional Networks に拡張する。
• 非常に深いアーキテクチャを実現するために、残差ブロックの周りに短いスキップ接続を取り入れる。
• ボトルネック型・基本型・シンプル型などの異なるブロックタイプを用いて実験し、二値交差エントロピーと Dice 損失で評価する。
• データ拡張を用いて EM ISBI 2012 データセットで訓練し、アーキテクチャ間で訓練曲線と検証曲線を分析する。
• 性能と収束への影響を調べるため、残差ブロック内でオプショナルな正則化として dropout を使用する。

実験結果

リサーチクエスチョン

• RQ1 生体医用分割における非常に深い FCN へ短いスキップ接続を追加することは、訓練の収束にどのような影響を与えるか？
• RQ2 長いスキップ接続と短いスキップ接続の両方を組み合わせた場合、いずれか一方のタイプだけを用いた場合よりも高い性能を発揮するか？
• RQ3 非常に深い FCN は EM データに対して post-processing なしでほぼ最先端のセグメンテーションを達成できるか？
• RQ4 異なる損失関数（Binary Cross-Entropy vs. Dice Loss）がこの設定でのスキップ接続とどのように相互作用するか？

主な発見

• 長いスキップ接続と短いスキップ接続の両方を備えた非常に深い FCN は、片方のタイプのみを備えたネットワークよりも収束が速く、性能が向上する。
• 短いスキップ接続は深いネットワークにおけるパラメータ更新を安定させ、勾配消失の影響を緩和する。
• スキップ接続を持たないネットワークは極端に深い層を学習するのが難しい一方、バッチ正規化は訓練性と深さを向上させる。
• Dice 損失で訓練されたモデルは Binary Cross-Entropy で訓練されたものより視覚的にクリーンなセグメンテーションを生成し、推論時の dropout は暗黙のモデルアベレージング効果を提供する。
• この深い FCN は EM ISBI 2012 データセットで post-processing を一切用いず、ほぼ最先端の性能を達成した。