[論文レビュー] A Fast Learning Algorithm for Image Segmentation with Max-Pooling Convolutional Networks

Jonathan Masci, Alessandro Giusti+3 more|arXiv (Cornell University)|Feb 7, 2013

Advanced Neural Network Applications参考文献 6被引用数 16

ひとこと要約

この論文は、最大プーリング畳み込みニューラルネットワーク（MPCNN）のための新しいトレーニングアルゴリズムを提案する。この手法は、1回のプロセスで全画像を処理し、重複するパッチ単位の計算を排除する。最大プーリングフラグメント（MPF）層を導入し、全画像処理に適応した誤差逆伝播法を採用することで、パッチベースのトレーニングに比べ1500倍の高速化を達成しながら、産業用および医療用データセットで最先端のセグメンテーション精度を維持した。

ABSTRACT

We present a fast algorithm for training MaxPooling Convolutional Networks to segment images. This type of network yields record-breaking performance in a variety of tasks, but is normally trained on a computationally expensive patch-by-patch basis. Our new method processes each training image in a single pass, which is vastly more efficient. We validate the approach in different scenarios and report a 1500-fold speed-up. In an application to automated steel defect detection and segmentation, we obtain excellent performance with short training times.

研究の動機と目的

• パッチごとの処理によるMPCNNのトレーニングにおける計算の非効率性を解消すること。これは遅く、重複した計算を伴う。
• 大規模な産業用および医療用画像データセットにおけるMPCNNの高速かつスケーラブルなトレーニングを可能にすること。
• 全画像上でエンドツーエンドの誤差逆伝播を可能にする新しいニューラルネットワーク層（最大プーリングフラグメント）の開発。
• スチール欠陊検出などの産業用途におけるリアルタイムの推論とトレーニングを実現すること。
• 従来のパッチベース手法と比較してトレーニング時間を大幅に短縮しつつ、高いセグメンテーション精度を維持すること。

提案手法

• 標準的なマックスプーリングを、入力画像全体から導出される画像フラグメントに拡張した最大プーリングフラグメント（MPF）層を導入。これにより、全画像処理が可能になる。
• 重複領域の再計算を回避する新しいフォワードパスおよびバックワードパス機構を設計。これにより、冗長な計算が削減される。
• 標準的な誤差逆伝播アルゴリズムを変更し、フラグメント全体を通じて勾配を計算。これにより、パrameterの更新が全画像計算グラフと整合するようになる。
• 各フラグメントが入力画像の重複しない領域に対応するフラグメントベースのストレージ構造を採用。これにより、計算とメモリ管理が効率的になる。
• レアな欠陊ピxlsを含むデータセットにおけるクラスの不均衡に対処するため、修正された損失関数（MCCE）を採用。
• LBFGS最適化を用いてネットワークをトレーニング。さらに、画像を4分の1にダウンサンプリングすることで、学習をさらに高速化。

実験結果

リサーチクエスチョン

• RQ1 パッチベースの処理ではなく、全画像処理を用いてもセグメンテーション精度を損なわずにMPCNNをトレーニングできるか？
• RQ2 個々のパッチではなく、全画像を処理することで、MPCNNのトレーニングはどの程度速くなるか？
• RQ3 提案されたMPF層は、画像品質に大きなばらつきがある産業用途において、リアルタイムの推論とトレーニングを可能にするか？
• RQ4 新しいトレーニング手法は、ISBI EM や産業用スチール欠陊検出といったベンチマークデータセットで最先端の性能を維持するか？
• RQ5 フラグメントベースの処理は、勾配計算とモデル収束にどのような影響を与えるか？

主な発見

• 提案手法は、パッチベース手法と比較して1500倍のトレーニング時間の高速化を達成。標準CPU上では、数時間のトレーニングが数分に短縮された。
• スチール欠陊検出データセットでは、ピxls単位の誤差率が5.8%にまで低下し、ランダム推測（誤差率50%）を著しく上回った。
• 膜画像データセットでのトレーニングでは最先端の性能を達成。生物学的画像セグメンテーションタスクにおける本手法の有効性が裏付けられた。
• 新しい画像の推論にはたった0.07秒で完了。産業用スチール生産環境でのリアルタイムデプロイメントが可能になった。
• 高い検出精度を維持しており、534枚のテスト画像セットで誤検出は3件にとどまり、アノテーションに誤ってラベル付けされた3つの欠陊も正しく検出できた。
• 変換サンプルの生成にかかるオーバーヘッドは最小限であり、LBFGSのような複雑な最適化を用いても、全体のトレーニング時間は非常に効率的だった。