[論文レビュー] Superpixel-based Domain-Knowledge Infusion in Computer Vision.

Gunjan Chhablani, Abheesht Sharma+2 more|arXiv (Cornell University)|May 19, 2021

Visual Attention and Saliency Detection参考文献 10被引用数 4

ひとこと要約

本稿では、グラフニューラルネットワーク（GNNs）を用いてスーパピクセルに基づく関係的知識を畳み込みニューラルネットワーク（CNNs）に統合するハイブリッドディープラーニングモデルを提案する。空間的特徴抽出にCNNを、スーパピクセル間の関係性モデリングにGNNを組み合わせ、独自の「ハイブリッド」損失関数を用いることで、複数のベンチマークおよび医療画像やバイオメトリクスを含む実世界のタスクにおいて、性能が向上した。

ABSTRACT

Superpixels are higher-order perceptual groups of pixels in an image, often carrying much more information than raw pixels. There is an inherent relational structure to the relationship among different superpixels of an image. This relational information can convey some form of domain information about the image, e.g. relationship between superpixels representing two eyes in a cat image. Our interest in this paper is to construct computer vision models, specifically those based on Deep Neural Networks (DNNs) to incorporate these superpixels information. We propose a methodology to construct a hybrid model that leverages (a) Convolutional Neural Network (CNN) to deal with spatial information in an image, and (b) Graph Neural Network (GNN) to deal with relational superpixel information in the image. The proposed deep model is learned using a generic hybrid loss function that we call a `hybrid' loss. We evaluate the predictive performance of our proposed hybrid vision model on four popular image classification datasets: MNIST, FMNIST, CIFAR-10 and CIFAR-100. Moreover, we evaluate our method on three real-world classification tasks: COVID-19 X-Ray Detection, LFW Face Recognition, and SOCOFing Fingerprint Identification. The results demonstrate that the relational superpixel information provided via a GNN could improve the performance of standard CNN-based vision systems.

研究の動機と目的

• 関係的スーパピクセル情報（ドメイン知識）を統合することで、コンピュータビジョンモデルの性能を向上させること。
• 標準的なCNNが画像領域間の高次構造的関係を捉える能力に限界があるという問題を解決すること。
• CNNとGNNを用いて空間的特徴と関係的特徴を統合的に学習する統一されたディープラーニングフレームワークを構築すること。
• 提案手法の有効性を、多様な画像分類タスク、特に実世界の応用を含めて評価すること。
• 関係的スーパピクセル情報が、標準的なCNNを上回る予測性能を向上させることを実証すること。

提案手法

• 本手法は、ピクセルをより高次の知覚的単位にグループ化するスーパピクセルセグメンテーションアルゴリズムを用い、生のピクセルよりも意味的な画像構造を捉える。
• 畳み込みニューラルネットワーク（CNN）を用いて、局所的なピクセルレベルのパターンを活用して空間的特徴を抽出する。
• グラフニューラルネットワーク（GNN）を用いて、スーパピクセル間の関係的構造をモデリングし、顔の「二つの目」のような意味的関係を符号化する。
• CNNからの分類損失とGNNからの関係的一致性損失を組み合わせた、独自の「ハイブリッド」損失関数を用いてモデルを訓練する。
• CNNとGNNの両ブランチからの特徴を統合することで最終予測を生成し、空間的および関係的表現の共同最適化を可能にする。
• アーキテクチャはエンドツーエンドで学習可能であり、最適なスーパピクセル表現とその関係的依存関係を同時に学習できる。

実験結果

リサーチクエスチョン

• RQ1 関係的スーパピクセル情報は、標準的なCNNベースの画像分類モデルの性能を向上させることができるか？
• RQ2 スーパピクセルを介して、GNNをCNNと統合することで、高次画像構造をどれほど効果的にモデリングできるか？
• RQ3 提案されたハイブリッド損失関数は、標準的な学習目的と比較して特徴学習をどのように向上させるか？
• RQ4 本モデルは、医療画像やバイオメトリクス認識を含む多様なデータセットにどれほど一般化可能か？
• RQ5 スーパピクセルに基づくドメイン知識は、視覚タスクにおける大規模なラベル付きデータへの依存を軽減できるか？

主な発見

• 提案されたハイブリッドモデルは、MNIST、FMNIST、CIFAR-10、CIFAR-100の4つのベンチマークデータセットすべてで、標準的なCNNを上回る性能を達成した。
• GNNをCNNと統合することで、SOCOFing指紋識別データセットにおける性能が顕著に向上し、バイオメトリクスタスクにおけるロバスト性を示した。
• LFW顔認識ベンチマークでは、最先端または競争力のある結果を達成し、微細な認識タスクへの優れた一般化性能を示した。
• COVID-19 X線検出タスクにおいても顕著な性能向上を示し、医療画像応用分野での有用性を強調した。
• アブレーションスタディにより、特に複雑な視覚認識タスクにおいて、スーパピクセルからの関係的情報がモデルの精度に有意に寄与することが確認された。
• ハイブリッド損失関数は、空間的および関係的学習を効果的にバランスさせ、より一貫性があり判別力の高い特徴表現を生み出した。