[論文レビュー] TernausNet: U-Net with VGG11 Encoder Pre-Trained on ImageNet for Image Segmentation

Vladimir Iglovikov, Alexey A. Shvets|arXiv (Cornell University)|Jan 17, 2018

Advanced Neural Network Applications参考文献 11被引用数 576

ひとこと要約

TernausNetは ImageNet で事前学習された VGG11 エンコーダを用いることで U-Net を改善し、3 つの重み初期化方式を比較する。より早い収束と高い検証 IoU を示す。

ABSTRACT

Pixel-wise image segmentation is demanding task in computer vision. Classical U-Net architectures composed of encoders and decoders are very popular for segmentation of medical images, satellite images etc. Typically, neural network initialized with weights from a network pre-trained on a large data set like ImageNet shows better performance than those trained from scratch on a small dataset. In some practical applications, particularly in medicine and traffic safety, the accuracy of the models is of utmost importance. In this paper, we demonstrate how the U-Net type architecture can be improved by the use of the pre-trained encoder. Our code and corresponding pre-trained weights are publicly available at https://github.com/ternaus/TernausNet. We compare three weight initialization schemes: LeCun uniform, the encoder with weights from VGG11 and full network trained on the Carvana dataset. This network architecture was a part of the winning solution (1st out of 735) in the Kaggle: Carvana Image Masking Challenge.

研究の動機と目的

• エンコーダを事前学習させることが、ピクセル単位の分割タスクにおける U-Net にどのような利益をもたらすかを動機づけ、実証する。
• 3つの重み初期化スキームを評価し、それらが分割性能に与える影響を測定する。
• 実際の航空画像データセットで、収束速度の向上と最終 IoU を示す。

提案手法

• U-Net のエンコーダを、ImageNet で事前学習された VGG11 エンコーダ（全結合層なし）に置き換える。
• 3つの初期化スキームを比較する：LeCun uniform、ImageNet にて事前学習済みの VGG11 エンコーダ、およびCarvana の完全事前学習モデル。
• Inria Aerial Image Labeling Dataset で Adam オプティマイザを用いて100エポック訓練し、評価指標として IoU を測定する。
• 確率マップから二値予測を得るために、バイナリ ピクセル マスク閾値を 0.3 に用いる。

実験結果

リサーチクエスチョン

• RQ1 ImageNet で事前学習された VGG11 を用いた U-Net エンコーダの初期化は、ランダム初期化と比べて分割性能を改善するか？
• RQ2 Carvana でのネットワーク全体の完全事前学習は、ImageNet 事前学習済みエンコーダと比較して IoU と収束速度の点でどのように異なるか？
• RQ3 事前学習は、航空画像の建物分割において訓練時間を短縮し、最終的な検証 IoU を改善できるか？

主な発見

• ImageNet でのエンコーダ事前学習は、ランダム初期化時の IoU 0.593 から IoU 0.686 に改善する。
• Carvana での完全事前学習は IoU を 0.687 にし、ImageNet 事前学習エンコーダと同等である。
• 事前学習済みモデルは、ランダム初期化モデルよりも収束が速く、安定状態の IoU が高い。
• 本アプローチは、150 の訓練画像と 30 の検証画像を含む Inria Aerial Image Labeling Dataset で実証されている。