[論文レビュー] Hierarchical semantic segmentation using modular convolutional neural networks

Sagi Eppel|arXiv (Cornell University)|Oct 14, 2017

Advanced Neural Network Applications参考文献 30被引用数 5

ひとこと要約

本稿では、2つの直列に接続された完全畳み込みニューラルネットワーク（FCN）を用いたモジュラーで階層的なセマンティックセグメンテーションフレームワークを提案する。1つ目のネットワークは背景から血管をセグメンテーションし、2つ目のネットワークは血管内の内容物を同定する。特徴量の選択的転送に「バルブフィルタアテンション」機構を適用することで、単一ネットワーク手法よりも優れた性能を達成し、再訓練なしに事前学習済みモジュールの再利用が可能となる。

ABSTRACT

Image recognition tasks that involve identifying parts of an object or the contents of a vessel can be viewed as a hierarchical problem, which can be solved by initial recognition of the main object, followed by recognition of its parts or contents. To achieve such modular recognition, it is necessary to use the output of one recognition method (which identifies the general object) as the input for a second method (which identifies the parts or contents). In recent years, convolutional neural networks have emerged as the dominant method for segmentation and classification of images. This work examines a method for serially connecting convolutional neural networks for semantic segmentation of materials inside transparent vessels. It applies one fully convolutional neural net to segment the image into vessel and background, and the vessel region is used as an input for a second net which recognizes the contents of the glass vessel. Transferring the segmentation map generated by the first nets to the second net was performed using the valve filter attention method that involves using different filters on different segments of the image. This modular semantic segmentation method outperforms a single step method in which both the vessel and its contents are identified using a single net. An advantage of the modular neural net is that it allows networks to be built from existing trained modules, as well the transfer and reuse of trained net modules without the need for any retraining of the assembled net.

研究の動機と目的

• 透明な血管内の複雑でネストされた画像構造（例：内容物）を認識する課題に対処すること。
• 血管検出とコンテンツセグメンテーションを分離することで、精度と柔軟性を向上させるモジュラーなアプローチを開発すること。
• 全体のシステムを再訓練することなく、事前学習済みニューラルネットワークモジュールを再利用できること。
• 階層的処理が、複雑な視覚認識タスクにおけるエンドツーエンドの単一ネットワークセグメンテーションを上回るかを検証すること。

提案手法

• 2段階のパイプラインを採用：まず、完全畳み込みネットワーク（FCN）が背景から血管をセグメンテーションする。
• 1番目のネットワークのセグメンテーションマスクを空間的アテンションマップとして用い、2番目のFCNにおける特徴抽出をガイドする。
• 'バルブフィルタアテンション'機構により、セグメンテーションマスクに基づいて入力画像の異なる領域に異なる畳み込みフィルタを適用し、選択的な特徴学習を可能にする。
• 2番目のネットワークは、マスク処理されたアテンションガイドド特徴量を用いて、血管内の内容物の分類とセグメンテーションを学習する。
• モジュラー設計により、事前学習済みネットワークを微調整なしに組み合わせられる。
• 空間的条件下での畳み込み操作により、ネットワーク間の特徴転送が実現され、空間的コンテキストが保持される。

実験結果

リサーチクエスチョン

• RQ1 血管内の複雑でネストされた画像構造（例：透明な容器内の液体）に対して、階層的でモジュラーなアプローチがセマンティックセグメンテーションの精度を向上させられるか？
• RQ2 アテンションベースの特徴選択を施した2段階ネットワークが、単一で統合されたセグメンテーションネットワークを上回るか？
• RQ3 事前学習済みニューラルネットワークモジュールを再訓練なしに新しいシステムに再利用できる範囲はどの程度か？
• RQ4 バルブフィルタアテンション機構は、画像の異なる領域に特徴学習を効果的に誘導できるか？

主な発見

• モジュラーな2段階ネットワークは、単一ネットワークベースラインに比べ、血管およびその内容物のセグメンテーションで優れた性能を示した。
• バルブフィルタアテンション機構の導入により、画像の異なる領域に適応したフィルタの適用が可能となり、より正確な特徴学習が実現された。
• 事前学習済みモジュールを再訓練なしに新しいシステムに組み合わせられ、性能が保持されるとともに、学習コストが削減された。
• 階層的アプローチは、透明な容器内の液体など、複雑でネストされた視覚的構造のセグメンテーションにおいて、より高いロバスト性を示した。