[論文レビュー] Learning Scene Gist with Convolutional Neural Networks to Improve Object Recognition

Kevin Wu, Eric Hsiao‐Kuang Wu+1 more|arXiv (Cornell University)|Mar 6, 2018

Visual Attention and Saliency Detection参考文献 17被引用数 5

ひとこと要約

この論文では、画像の周辺部からの文脈的情報（シーン・ジスト）をオブジェクト分類に統合することで、オブジェクト認識を向上させる生物学的にインスパイアされた二本のブランチからなる畳み込みニューラルネットワーク、GistNetを提案する。周辺視覚と中心視覚の処理をモデル化することで、モデルサイズが5%増加するのみで、特定のカテゴリでは精度が最大50%向上し、機械視覚における文脈的情報理解の価値を示している。

ABSTRACT

Advancements in convolutional neural networks (CNNs) have made significant strides toward achieving high performance levels on multiple object recognition tasks. While some approaches utilize information from the entire scene to propose regions of interest, the task of interpreting a particular region or object is still performed independently of other objects and features in the image. Here we demonstrate that a scene's 'gist' can significantly contribute to how well humans can recognize objects. These findings are consistent with the notion that humans foveate on an object and incorporate information from the periphery to aid in recognition. We use a biologically inspired two-part convolutional neural network ('GistNet') that models the fovea and periphery to provide a proof-of-principle demonstration that computational object recognition can significantly benefit from the gist of the scene as contextual information. Our model yields accuracy improvements of up to 50% in certain object categories when incorporating contextual gist, while only increasing the original model size by 5%. This proposed model mirrors our intuition about how the human visual system recognizes objects, suggesting specific biologically plausible constraints to improve machine vision and building initial steps towards the challenge of scene understanding.

研究の動機と目的

• 画像の周辺部からの文脈的情報（シーン・ジスト）が、ディープラーニングモデルにおけるオブジェクト認識を向上させることを調査すること。
• 人間の中心視覚と周辺視覚を模倣する生物学的に妥当なビジョンモデルを開発し、オブジェクト認識を向上させること。
• 文脈的情報が、特に困難なオブジェクトカテゴリにおいて顕著に認識性能を向上させることを実証すること。
• 既存のCNNアーキテクチャにシーン・ジストを統合する計算効率の良い手法を提供すること。

提案手法

• 中心（オブジェクト）特徴を処理するブランチと、周辺（シーン・ジスト）特徴を処理するブランチを持つ二本のブランチからなる畳み込みニューラルネットワーク（GistNet）を設計する。
• 中心ブランチを、関心オブジェクトからの高分解能特徴を抽出するように学習させ、周辺ブランチを、低分解能でグローバルなシーンの文脈を捉えるようにする。
• 両ブランチの特徴を、後段のフェーズで統合することで、文脈的情報がオブジェクト分類を精緻化できるようにする。
• 効率を維持するため、特徴抽出に共通のバックボーンを用い、周辺ブランチでは空間プーリングを適用してジストを捉える。
• 特徴の忠実性を保ち、学習の安定性を向上させるために、スキップ接続と残差ブロックを適用する。
• 標準のオブジェクト認識データセット上で、標準的な交差エントロピー損失を用いて、モデルをエンドツーエンドで最適化する。

実験結果

リサーチクエスチョン

• RQ1 シーン・ジストをディープニューラルネットワークに統合することで、オブジェクト認識性能を顕著に向上させることができるか？
• RQ2 中心視覚と周辺視覚を模倣する生物学的にインスパイアされた二本のブランチアーキテクチャは、どのようにオブジェクト認識を向上させるか？
• RQ3 シーン・ジストを統合する際の、精度の向上とモデルサイズのトレードオフはいかなるものか？
• RQ4 どのオブジェクトカテゴリにおいて、シーン・ジストが認識に最も有益か？

主な発見

• シーン・ジストを統合することで、特定のカテゴリではオブジェクト認識精度が最大50%相対的に向上する。
• シーン・ジストの追加により、モデルサイズはわずか5%増加するため、文脈的情報統合の効率が非常に高い。
• 周辺のシーン文脈が、曖昧またはごちゃついたシーンにおいてオブジェクトの区別に顕著に寄与することが示された。
• 視覚的類似性が高く、局所的特徴が判別に乏しいオブジェクトカテゴリで、性能向上が最も顕著に観察された。
• 二本のブランチアーキテクチャは、人間の視覚処理（焦点化と周辺文脈の共同作用）を効果的に模倣しており、認識を支援している。