[論文レビュー] Setting an attention region for convolutional neural networks using region selective features, for recognition of materials within glass vessels

Sagi Eppel|arXiv (Cornell University)|Aug 29, 2017

Industrial Vision Systems and Defect DetectionEngineering被引用数 18

ひとこと要約

本論文は、ガラス器の内部領域など事前に定義された領域（ROI）に異なる畳み込みフィルタを効率的に適用するためのバルブフィルタ機構を、畳み込みニューラルネットワークに提案する。バイナリROIマップを用いて特徴抽出をゲートすることで、関連領域への注目を強化し、ROIガイドなしの標準的FCNと比較して、1,000枚のアノテート済みラボガラス器画像から構成される新規データセットにおいて優れた性能を達成した。

ABSTRACT

Convolutional neural networks have emerged as the leading method for the classification and segmentation of images. In some cases, it is desirable to focus the attention of the net on a specific region in the image; one such case is the recognition of the contents of transparent vessels, where the vessel region in the image is already known. This work presents a valve filter approach for focusing the attention of the net on a region of interest (ROI). In this approach, the ROI is inserted into the net as a binary map. The net uses a different set of convolution filters for the ROI and background image regions, resulting in a different set of features being extracted from each region. More accurately, for each filter used on the image, a corresponding valve filter exists that acts on the ROI map and determines the regions in which the corresponding image filter will be used. This valve filter effectively acts as a valve that inhibits specific features in different image regions according to the ROI map. In addition, a new data set for images of materials in glassware vessels in a chemistry laboratory setting is presented. This data set contains a thousand images with pixel-wise annotation according to categories ranging from filled and empty to the exact phase of the material inside the vessel. The results of the valve filter approach and fully convolutional neural nets (FCN) with no ROI input are compared based on this data set.

研究の動機と目的

• 透明なガラス器内の材料認識を向上させるために、CNNの注目を容器の内部領域に集中させる。
• 透明な容器内に存在する低コントラストで反射率が変動し、部分的に遮蔽されている材料の認識に課題を提示する。
• 空間的領域に基づいて特徴抽出を動的に適応させるための学習可能なゲーティング機構を用いた手法を開発する。
• ベンチマーク用に利用可能な、大規模かつピクセルレベルでアノテート済みのガラス器内の材料データセットを構築・公開する。
• 提案されたROIに依存するネットワークの性能を、ROI入力なしの標準的完全畳み込みネットワーク（FCN）と比較する。

提案手法

• バイナリROIマップをネットワークの入力として用い、注目すべき領域（例：容器内部）を指定する。
• 各標準畳み込みフィルタに対して、対応する「バルブフィルタ」を導入し、ROIマップに応じてフィルタの適用を調整する。
• バルブフィルタは学習可能なゲートとして機能し、ROIマップに従って特定の画像領域での特徴活性化を抑制または有効化する。
• ROI領域とバックグラウンド領域のための別々の特徴抽出パスを採用することで、領域別に最適化された表現学習を可能にする。
• 空間分解能を維持し、密度予測を可能にするために、完全畳み込みニューラルネットワーク（FCN）フレームワークに本手法を統合する。
• マルチクラスの材料アノテーションを用いた、ピクセル単位の交差エントロピー損失を用いて、エンドツーエンドでモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 領域選択的注目機構は、透明なガラス器内の材料認識精度を向上させることができるか？
• RQ2 ROIガイド付き特徴学習を用いたCNNの性能は、ROI入力なしの標準的FCNと比較してどのように異なるか？
• RQ3 提案されたバルブフィルタ機構は、背景と比較して容器内部の特徴識別をどの程度向上させるか？
• RQ4 新規データセットは、ラボガラス器画像における注目型モデルの学習と評価をどの程度効果的に支援するか？
• RQ5 バイナリROIマップをゲーティング信号として用いることで、よりロバストで汎用性の高い特徴学習が達成できるか？

主な発見

• 提案されたバルブフィルタ手法は、新規データセットにおいてROI入力なしの標準的FCNを顕著に上回り、セグメンテーション精度が向上した。
• 「満タン」「空」および「液体」「固体」などのフェーズ固有クラスを含む材料カテゴリにおいて、平均交差率（mIoU）が上昇した。
• 領域選択的特徴の使用により、バックグラウンドの干渉が低減し、特に低コントラスト条件下でも容器内部の特徴の明瞭さが向上した。
• ピクセル単位のアノテーションが施された1,000枚の画像から構成される新規データセットは、ラボイメージングにおける注目型モデルの学習と評価に有効であることが示された。
• バルブフィルタ機構により、ネットワークは容器領域とバックグラウンドのための明確に異なる特徴表現を学習でき、局所化の精度が向上した。
• アブレーションスタディの結果、性能向上の主な要因はROIガイド付き注目機構であり、単なるデータオーグメンテーションやアーキテクチャの変更とは異なることが確認された。