[論文レビュー] Recognizing Image Objects by Relational Analysis Using Heterogeneous Superpixels and Deep Convolutional Features

Alex Yang, Charlie Veal+2 more|arXiv (Cornell University)|Aug 2, 2019

Visual Attention and Saliency Detection参考文献 16被引用数 5

ひとこと要約

本稿では、空間的構造化表現に深層畳み込み特徴を統合するための異種スーパピクセルを活用するスーパピクセルカプセルネットワークを提案する。これにより、カプセルルーティングによる関係性分析が可能となり、画像分類における解釈可能性が向上する。モデルはVGG-16と比較して88%少ないパラメータで89%の検証精度を達成し、セグメンテーションアノテーションを必要とせずに、部分と全体の対象関係を説明可能に保ちながら優れた汎化性能を示した。

ABSTRACT

Superpixel-based methodologies have become increasingly popular in computer vision, especially when the computation is too expensive in time or memory to perform with a large number of pixels or features. However, rarely is superpixel segmentation examined within the context of deep convolutional neural network architectures. This paper presents a novel neural architecture that exploits the superpixel feature space. The visual feature space is organized using superpixels to provide the neural network with a substructure of the images. As the superpixels associate the visual feature space with parts of the objects in an image, the visual feature space is transformed into a structured vector representation per superpixel. It is shown that it is feasible to learn superpixel features using capsules and it is potentially beneficial to perform image analysis in such a structured manner. This novel deep learning architecture is examined in the context of an image classification task, highlighting explicit interpretability (explainability) of the network's decision making. The results are compared against a baseline deep neural model, as well as among superpixel capsule networks with a variety of hyperparameter settings.

研究の動機と目的

• 画像分類における標準的なディープラーニング特徴空間における空間的構造と解釈可能性の欠如に対処すること。
• スーパピクセルを次元削減の手段として用いるだけでなく、関係性特徴学習のための構造的骨格としての可能性を検討すること。
• スーパピクセルセグメンテーションを介してカプセル活性化を空間的対象部分に結びつけることで、モデルの説明可能性を向上させること。
• インスタンスセグメンテーションアノテーションの必要性を回避し、画像ラベルのみでエンドツーエンドの対象認識を可能にすること。
• 構造化された特徴組織化とカプセルベースの関係性推論を通じて、モデルの複雑さを低減しつつも、高い性能を維持すること。

提案手法

• 本手法は、入力画像から深層畳み込み特徴を抽出するためにVGG-16をバックボーンとして用いる。
• グラフベースのセグメンテーションアルゴリズムを用いてスーパピクセルを生成し、空間的および意味的構造を保持するため、非一様（異種）のスーパピクセルサイズを採用する。
• 各スーパピクセルは、特徴と空間的対象部分を結びつける構造的ベクトル表現を形成する一連の深層特徴に関連付ける。
• カプセル層をこれらのスーパピクセルに組織化された特徴に適用し、動的ルーティングを通じて部分と全体の関係性をモデル化する。
• エンドツーエンドの訓練を、画像ラベルのみを用いて実施し、空間的関係への注目を通じて自己教師付きエンティティセグメンテーションを可能にする。
• モデルの性能は、検証精度と汎化性能を評価指標とし、標準的なVGG-16との比較およびスーパピクセルサイズとハイパーパramータのアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 異種スーパピクセルは、関係性推論を向上させるために、深層畳み込み特徴を効果的に構造化するための有効な構造的事前知識として機能するか？
• RQ2 スーパピクセルによる特徴の組織化とカプセルルーティングの適用により、画像分類におけるモデルの解釈可能性が向上するか？
• RQ3 スーパピクセルベースのカプセルネットワークは、VGG-16のような標準的なディープニューラルネットワークと比較して、顕著に少ないパラメータで競争力のある精度を達成できるか？
• RQ4 モデルの性能はどの程度スーパピクセルサイズとエントロピーに依存しており、それらが特徴の滑らかさと汎化性能に与える影響は何か？
• RQ5 セグメンテーションアノテーションを一切必要とせず、画像ラベルのみに依存して、意味的な対象部分セグメンテーションを生成できるか？

主な発見

• スーパピクセルカプセルネットワークは、4クラスの画像分類データセットで89%の検証精度を達成し、パラメータ数を削減したにもかかわらず優れた性能を示した。
• モデルは1700万個のトレーニング可能なパラメータを用いており、VGG-16の1億3400万個と比較して88%も少ない。訓練と検証精度が類似していたことから、良好な汎化性能が示された。
• 訓練中におけるトレーニング精度と検証精度が常に密接に一致しており、過学習の兆候がほとんどなかったことから、安定した推論が実現した。
• 小さなスーパピクセル（例：図8gおよび8h）は、特徴寄与の滑らかさを損ない、強度の振動を増加させる傾向があり、高すぎるモデル複雑性に起因する不安定性を示唆した。
• 特に中程度のエントロピー範囲にある異種スーパピクセルの使用は、過剰にセグメンテーションされたか、不十分にセグメンテーションされた設定と比較して、より優れた特徴組織化と関係性モデリングを可能にした。
• モデルは、セグメンテーションラベルがなくても、カプセル活性化をスーパピクセル領域に投影することで、部分が対象認識意思決定にどのように寄与しているかを明らかにする、内在的な説明可能性を示した。