[論文レビュー] Hypercorrelation Squeeze for Few-Shot Segmentation

Juhong Min, Dahyun Kang+1 more|arXiv (Cornell University)|Apr 4, 2021

Advanced Neural Network Applications参考文献 81被引用数 55

ひとこと要約

HSNetは、マルチレベルの特徴相関と center-pivot 4D畳み込みを統合するHypercorrelation Squeeze Networksを導入し、標準ベンチマークでの少数ショットセマンティックセグメンテーションの最先端を達成します。

ABSTRACT

Few-shot semantic segmentation aims at learning to segment a target object from a query image using only a few annotated support images of the target class. This challenging task requires to understand diverse levels of visual cues and analyze fine-grained correspondence relations between the query and the support images. To address the problem, we propose Hypercorrelation Squeeze Networks (HSNet) that leverages multi-level feature correlation and efficient 4D convolutions. It extracts diverse features from different levels of intermediate convolutional layers and constructs a collection of 4D correlation tensors, i.e., hypercorrelations. Using efficient center-pivot 4D convolutions in a pyramidal architecture, the method gradually squeezes high-level semantic and low-level geometric cues of the hypercorrelation into precise segmentation masks in coarse-to-fine manner. The significant performance improvements on standard few-shot segmentation benchmarks of PASCAL-5i, COCO-20i, and FSS-1000 verify the efficacy of the proposed method.

研究の動機と目的

• 限られた監視下での少数ショットセマンティックセグメンテーションの一般化ギャップを動機づけて対処する。
• 中〜高レベルのCNN特徴を多様に活用して、画像間のリッチな対応関係を構築する。
• 粗いから細いまでの階層的な方法で、密なハイパー相関を処理する効率的な4D畳み込みフレームワークを開発する。
• センターピボット型の4Dカーネルとピラミッド型エンコーダ-デコーダ設計を通じてリアルタイム推論を実現する。
• 単純な投票とマスキング機構を用いて、K-shot設定にアプローチを拡張する。

提案手法

• サポート画像の多層特徴マップをマスクしてハイパー相関を構築し、クエリ特徴とコサインベースの4D相関テンソルを計算する。
• 選択されたピラミッド層間で相関テンソルを結合して、多様な意味情報と幾何学的手がかりを表すハイパー相関ピラミッドを形成する。
• 圧縮ブロックと混合ブロックを備えた4D畳み込みピラミッドエンコーダを用いて、ハイパー相関を段階的に圧縮してコンパクトな文脈特徴Zに凝縮する。
• 2D畳み込みコンテキストデコーダを用いて文脈特徴をデコードし、クエリ画像の前景/背景マスクを予測する。
• 2D畳み込み成分の二つを介して4Dカーネルの複雑さを削減するセンターピボット型4D畳み込みを導入し、軽量で高速な推論を実現する。
• K回のフォワードパスを実行しピクセル単位の投票を行って最終マスクを得ることで、K-shotシナリオに拡張する。

実験結果

リサーチクエスチョン

• RQ1 サポート画像とクエリ画像間の多様で多層な特徴相関を、正確な少数ショットセグメンテーションにどう活用できるか？
• RQ2 軽量で高次元の畳み込み（4D）アーキテクチャを、精度を保ちながらリアルタイム推論に十分効くよう効率化できるか？
• RQ3 粗いから細いへと段階的に絞り込むピラミッドベースのハイパー相関の絞り込みは、単一レベルや単一スケールの手法よりセグメンテーション品質を向上させるか？
• RQ4 提案手法はドメインシフトや異なるバックボーンネットワークに対してどのように性能を発揮するか？
• RQ5 一般化能力を損なうことなく、アプローチを自然にK-shot設定に拡張できるか？

主な発見

• HSNetを提案し、PASCAL-5i、COCO-20i、FSS-1000のベンチマークで新たな最先端性能を達成。
• 多層のハイパー相関と4D畳み込みを組み合わせることで、1ショットおよび5ショット設定で顕著な利得を生むことを示す。
• センターピボット4D畳み込みを導入し、精度を維持しつつ標準の4Dカーネルに対してメモリと時間効率の高い代替案を提供。
• ドメインシフト（COCOで訓練されたモデルをPASCAL-5iで評価）に対する頑健性を示し、競争力のある結果とパラメータ削減を実現。
• ピラミッド全体で意味情報と幾何情報の両方を組み込むことが、単一層相関と比較して境界の改良と局所化を向上させることを確認。）