[論文レビュー] Classifying a specific image region using convolutional nets with an ROI mask as input

Sagi Eppel|arXiv (Cornell University)|Dec 1, 2018

Advanced Neural Network Applications参考文献 6被引用数 6

ひとこと要約

本論文は、畳み込みニューラルネットワーク（CNN）を用いて、領域の認識（ROI）マスクをアテンションマップとして統合することで、特定の画像領域を分類する手法を提案する。このアプローチにより、ネットワークの初期段階でROIマスクを統合することで特徴の学習を強化し、文脈的な背景情報を活用することで、特に小さな物体の分類精度が向上し、背景領域を無視する手法よりもCOCOおよびOpenSurfacesデータセットで優れた性能を発揮する。

ABSTRACT

Convolutional neural nets (CNN) are the leading computer vision method for classifying images. In some cases, it is desirable to classify only a specific region of the image that corresponds to a certain object. Hence, assuming that the region of the object in the image is known in advance and is given as a binary region of interest (ROI) mask, the goal is to classify the object in this region using a convolutional neural net. This goal is achieved using a standard image classification net with the addition of a side branch, which converts the ROI mask into an attention map. This map is then combined with the image classification net. This allows the net to focus the attention on the object region while still extracting contextual cues from the background. This approach was evaluated using the COCO object dataset and the OpenSurfaces materials dataset. In both cases, it gave superior results to methods that completely ignore the background region. In addition, it was found that combining the attention map at the first layer of the net gave better results than combining it at higher layers of the net. The advantages of this method are most apparent in the classification of small regions which demands a great deal of contextual information from the background.

研究の動機と目的

• 事前に与えられた二値のROIマスクを用いて、特定の物体領域の画像分類精度を向上させること。
• 周囲の背景からの文脈的情報が不可欠な、小さなまたは曖昧な物体を正しく分類する課題に対処すること。
• 標準的なCNNアーキテクチャ内でのROIマスク情報の統合方法と統合位置を最適化し、性能を最大化すること。
• 完全な画像の文脈に依存せずに、ROIマスクから導出されるアテンションマップが特徴学習をどのように効果的に誘導できるかを評価すること。

提案手法

• 入力のROIマスクを小さな畳み込みネットワークで処理し、学習可能なアテンションマップに変換するサイドブランチを導入する。
• 主な画像分類ネットワークの最初の畳み込み層で、アテンションマップと特徴マップを融合させ、初期段階の特徴抽出をガイドする。
• 要素ごとの乗算を用いて特徴マップを変調し、ROIに注目しながらも背景の文脈を保持する。
• 標準的なImageNet事前学習済み分類バックボーン（例：ResNet）にアテンションブランチを追加し、エンドツーエンドの学習を実施する。
• 画像ラベルペアとROIマスクアノテーションの両方を用いて同時に学習し、分類精度を最適化する。
• 融合層の配置に関する消去実験を実施し、最初の層での融合とより深い層での融合を比較する。

実験結果

リサーチクエスチョン

• RQ1 ROIマスクをアテンションマップとして統合することで、標準的なCNNと比較して特定の画像領域の分類精度が向上するか？
• RQ2 ROIアテンションマップを統合するにあたり、どのネットワーク層で融合を行うのが物体分類において最も効果的か？
• RQ3 ROIマスクによる背景文脈の統合は、特に小さな物体や部分的にしか見えない物体に対して性能にどのように影響を与えるか？
• RQ4 ROIマスクを処理する軽量なサイドブランチは、背景情報を破棄する手法よりも優れた一般化性能を達成できるか？
• RQ5 本手法は、背景を無視するか、代替のアテンション機構を用いるベースライン手法と比較して、どのように優れているか？

主な発見

• 本手法は、COCO物体検出データセットおよびOpenSurfaces素材データセットの両方で、背景領域を無視するベースラインモデルを顕著に上回る性能を発揮する。
• アテンションマップをネットワークの最初の層で統合する方が、より深い層での統合よりも優れた性能を示しており、初期段階でのガイドがより効果的であることが示された。
• 小さな領域の分類精度が向上し、文脈的な背景情報が正しく予測に不可欠である場合に特に顕著である。
• ROIマスクから導出されたアテンションマップは、関係のない背景特徴を効果的に抑制するとともに、周囲の領域からの識別的特徴を保持する。
• 消去実験の結果、サイドブランチと初期融合メカニズムが本手法の成功の鍵であることが確認され、融合を遅らせたり省略したりすると性能が著しく低下することが分かった。
• 本手法は多様なデータセットにわたって一般化が良く、複雑な背景を伴う実世界のシナリオにおいても頑健であることが示された。