[論文レビュー] Visual Semantic Segmentation Based on Few/Zero-Shot Learning: An Overview

Wenqi Ren, Yang Tang+3 more|arXiv (Cornell University)|Nov 13, 2022

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本稿は、2次元画像、動画、3次元ポイントクラウド/メッシュのセグメンテーションタスクにおける、少サンプル／ゼロショット視覚的意味セグメンテーション手法について包括的なサーベイを提供する。メトリック学習、パラメータの適応、メモリネットワーク、生成モデルといった技術的手法をレビューし、未学習カテゴリへの一般化性能を最小限のラベル付きデータで向上させることの有効性を強調するとともに、効率性、クロスタスク連携、マルチモーダル学習の分野における主な課題と今後の研究方向性を特定する。

ABSTRACT

Visual semantic segmentation aims at separating a visual sample into diverse blocks with specific semantic attributes and identifying the category for each block, and it plays a crucial role in environmental perception. Conventional learning-based visual semantic segmentation approaches count heavily on large-scale training data with dense annotations and consistently fail to estimate accurate semantic labels for unseen categories. This obstruction spurs a craze for studying visual semantic segmentation with the assistance of few/zero-shot learning. The emergence and rapid progress of few/zero-shot visual semantic segmentation make it possible to learn unseen-category from a few labeled or zero-labeled samples, which advances the extension to practical applications. Therefore, this paper focuses on the recently published few/zero-shot visual semantic segmentation methods varying from 2D to 3D space and explores the commonalities and discrepancies of technical settlements under different segmentation circumstances. Specifically, the preliminaries on few/zero-shot visual semantic segmentation, including the problem definitions, typical datasets, and technical remedies, are briefly reviewed and discussed. Moreover, three typical instantiations are involved to uncover the interactions of few/zero-shot learning with visual semantic segmentation, including image semantic segmentation, video object segmentation, and 3D segmentation. Finally, the future challenges of few/zero-shot visual semantic segmentation are discussed.

研究の動機と目的

• 2次元、動画、3次元のセグメンテーションタスクにおける、少サンプル／ゼロショット視覚的意味セグメンテーション分野における最近の進展を体系的にレビューすること。
• 異なるセグメンテーションモダリティおよびシナリオ間での共通する技術的戦略とアーキテクチャ的差異を特定すること。
• 未学習カテゴリを扱う際の従来の教師あり手法の限界を分析し、少サンプル／ゼロショット学習がそれらを克服する役割を明らかにすること。
• テキスト埋め込みや光流などのマルチモーダルな監視情報が、膨大なアノテーションを伴わずに一般化性能を向上させる可能性を検討すること。
• 自律走行システムや産業監視などの実世界応用に少サンプル／ゼロショットセグメンテーションを導入するにあたり、残された課題と有望な研究方向性を提示すること。

提案手法

• 少サンプル／ゼロショット視覚的意味セグメンテーションの技術的ソリューションを、メトリック学習、パラメータの適応、ファインチューニング、メモリネットワーク、生成モデルに分類し、分析する。
• 主な3つのタスク（画像意味セグメンテーション（ISS）、動画オブジェクトセグメンテーション（VOS）、3次元セグメンテーション（3DS））を対象とし、2次元および3次元のポイントクラウド／メッシュに焦点を当てて、代表的なモデルとアーキテクチャをレビューする。
• 少サンプル学習におけるサポート・クエリフレームワークの使用を検討し、少数のラベル付き例（サポートセット）がクエリサンプルのセグメンテーションを導く仕組みを分析する。
• 語彙埋め込みや言語記述といったクロスモダリティ監視が、ラベル付きデータの不足を補い、ゼロショットセグメンテーションにおける性能向上に果たす役割を評価する。
• 計算コストを低減しながらセグメンテーション精度を維持するため、軽量ネットワーク設計の統合を提案する。
• オブジェクト検出などの他のビジョンタスクとのクロスタスク連携（例：少サンプルオブジェクト検出とセグメンテーションの統合）が、サンプル効率性とモデルの一般化性能を向上させることを議論する。

実験結果

リサーチクエスチョン

• RQ1 2次元、動画、3次元の設定において、少サンプル／ゼロショット視覚的意味セグメンテーションに用いられる核心的な技術的アプローチは何か？
• RQ2 メトリック学習、メモリネットワーク、生成モデルといった異なる手法は、学習済みカテゴリと未学習カテゴリの間のドメインシフトをどのように処理するか？
• RQ3 画像、動画、3次元セグメンテーションタスクへの少サンプル／ゼロショット学習の適用における主な相違点と類似点は何か？
• RQ4 テキストや光流などのマルチモーダル監視が、ラベル付きデータが一切ない状況でゼロショットセグメンテーションの性能をどのように向上させるか？
• RQ5 限られたデータと計算リソースのもとで実世界応用に少サンプル／ゼロショット視覚的意味セグメンテーションを導入するにあたり、主なオープンチャレンジは何か？

主な発見

• 少サンプル／ゼロショット視覚的意味セグメンテーションは、わずかなまたは全くラベルなしのサンプルのみで未学習カテゴリの正確なセグメンテーションを可能にし、アノテーション依存度を顕著に低減する。
• メトリック学習に基づく手法は、カテゴリ間で一般化可能な特徴空間を学習することで、少サンプルの画像および動画セグメンテーションで優れた性能を示す。
• メモリネットワークとパラメータの適応技術は、特に長時間系列や長尾分布のシナリオにおいて、サポートセットの特徴を記憶または適応することで、少サンプル一般化性能を向上させる。
• ゼロショットセグメンテーションにおける生成モデルのアプローチは、語彙埋め込み（例：単語ベクトル）を活用して仮想セグメンテーションマスクを合成し、未学習クラスでの推論を可能にする。
• ポイントクラウドおよびメッシュを対象とする3次元セグメンテーションタスクは、少サンプル／ゼロショット手法の恩恵を受けるが、不規則なデータ構造と高いアノテーションコストという追加の課題を抱える。
• オブジェクト検出とセグメンテーションの統合といったクロスタスク連携は、アノテーション効率を向上させるとともに、限られたデータでも性能を向上させることができる。