[論文レビュー] GroupViT: Semantic Segmentation Emerges from Text Supervision

Jiarui Xu, Shalini De Mello+5 more|arXiv (Cornell University)|Feb 22, 2022

Multimodal Machine Learning Applications被引用数 12

ひとこと要約

GroupViTは、画像とテキストの対照的教師信号のみを用いて、意味的に意味のある任意の形状の領域に画像領域をグループ化する階層的Vision Transformerを導入した。これにより、ピクセルレベルのアノテーションやファインチューニングなしで、PASCAL VOC 2012で52.3%のmIoU、PASCAL Contextで22.4%のmIoUを達成し、一部のケースでは完全に教師ありの手法を上回った。

ABSTRACT

Grouping and recognition are important components of visual scene understanding, e.g., for object detection and semantic segmentation. With end-to-end deep learning systems, grouping of image regions usually happens implicitly via top-down supervision from pixel-level recognition labels. Instead, in this paper, we propose to bring back the grouping mechanism into deep networks, which allows semantic segments to emerge automatically with only text supervision. We propose a hierarchical Grouping Vision Transformer (GroupViT), which goes beyond the regular grid structure representation and learns to group image regions into progressively larger arbitrary-shaped segments. We train GroupViT jointly with a text encoder on a large-scale image-text dataset via contrastive losses. With only text supervision and without any pixel-level annotations, GroupViT learns to group together semantic regions and successfully transfers to the task of semantic segmentation in a zero-shot manner, i.e., without any further fine-tuning. It achieves a zero-shot accuracy of 52.3% mIoU on the PASCAL VOC 2012 and 22.4% mIoU on PASCAL Context datasets, and performs competitively to state-of-the-art transfer-learning methods requiring greater levels of supervision. We open-source our code at https://github.com/NVlabs/GroupViT .

研究の動機と目的

• ピクセルレベルのアノテーションを一切用いずに、画像とテキストの教師信号のみを活用してゼロショットのセマンティックセグメンテーションを可能にすること。
• 従来のCNNやViTにおけるエンドツーエンドの暗黙的グループ化から脱却し、深層ネットワークに明示的な視覚的グループ化を再導入すること。
• 大規模な画像とテキストデータで学習された階層的グループ化機構から、自然にセマンティックなセグメントが出現することを示すこと。
• ファインチューニングや高密度アノテーションを必要とせず、テキストの教師信号のみで、セマンティックセグメンテーションベンチマークで競争力のある性能を達成すること。

提案手法

• グリッドベースのトークン処理を置き換え、複数段階にわたり動的で不規則な形状の領域グループ化を行う階層的グループ化Vision Transformer（GroupViT）を提案する。
• 自己注意機構と特徴の集約を用いて、小さな視覚的トークンをより大きな意味的に整合性のあるセグメントに統合する学習可能なグループ化モジュールを導入する。
• 大規模な画像とテキストデータセット（例：Conceptual Captions、Flickr30k）上で、画像レベルのテキスト教師信号を用いて、画像エンコーダーとテキストエンコーダーを同時に対照的学習で訓練する。
• 最終段階のグループ特徴に対して平均プーリングを適用し、画像レベルの埋め込みを生成し、これとテキスト埋め込みを対照的に比較することで、視覚的セグメントとテキスト的コンセプトの整合性を図る。
• 共有埋め込み空間において、グループ埋め込みとクラスラベルのテキスト埋め込みの類似度を計算することで、ゼロショットセグメンテーションを実行する。
• 初期段階では中レベルのコンセプト（例：目、腕）を学習し、後続段階では高レベルのコンセプト（例：顔、体）を形成する多段階アーキテクチャを採用する。

Figure 1 : Problem Overview . First, we jointly train GroupViT and a text encoder using paired image-text data. With GroupViT, meaningful semantic grouping automatically emerges without any mask annotations. Then, we transfer the trained GroupViT model to the task of zero-shot semantic segmentation.

実験結果

リサーチクエスチョン

• RQ1 ピクセルレベルのアノテーションが一切ない状態で、テキストの教師信号のみからセマンティックセグメンテーションが出現可能か？
• RQ2 Vision Transformerにおける階層的グループ化機構が、明示的な教師信号なしに意味的に意味のある画像セグメントを形成できるか？
• RQ3 画像とテキストの対照的学習で事前学習したモデルが、ゼロショットのセマンティックセグメンテーションタスクにどの程度一般化できるか？
• RQ4 ファインチューニングや高密度アノテーションを必要としないテキスト教師付きでグループ化に基づくモデルの性能は、完全に教師ありや自己教師ありの転移手法と比べてどの程度か？

主な発見

• GroupViTは、ファインチューニングやピクセルレベルのアノテーションなしで、PASCAL VOC 2012で52.3%のmIoU、PASCAL Contextで22.4%のmIoUを達成した。
• パrametricなグループ化を用いたCLIPベースラインと比較して大幅に優れた性能を示し、学習された階層的グループ化の優位性を実証した。
• PASCAL VOC 2012におけるGroupViTのゼロショット性能（52.3%のmIoU）は、分類とセグメンテーションの両方のラベルでファインチューニングされた完全に教師ありのViT（53%のmIoU）とほぼ同等であった。
• 画像レベルのテキスト教師信号のみを用いても、GroupViTは意味的に整合性のあるグループを学習しており、『手』や『目』といった特定のコンセプトにグループトークンが注目している注目マップによってそれが裏付けられた。
• 未学習のカテゴリーや語彙に対しても一般化可能であり、テキスト教師信号から密度予測タスクへの強いゼロショット転送性を示した。
• PASCAL Contextでは性能がPASCAL VOCより低く、主にテキストキャプションに含まれない背景クラス（例：地面、道路）の欠落が原因で、グループ化されたセグメントが誤分類された。

Figure 2 : (a) The Architecture and Training Pipeline of GroupViT. GroupViT contains a hierarchy of Transformer layers grouped into stages, each operating on progressively larger visual segments. The images on the right show visual segments that emerge in the different grouping stages. The lower sta