[論文レビュー] Differentiable Meta-learning Model for Few-shot Semantic Segmentation

Pinzhuo Tian, Zhangkai Wu+4 more|arXiv (Cornell University)|Nov 23, 2019

Domain Adaptation and Few-Shot Learning参考文献 25被引用数 6

ひとこと要約

本稿では、線形分類器とグローバルおよびローカル特徴ブランチを備えた新規埋め込みモジュールを用いて、ピクセル単位の分類問題として定式化する、微分可能でメタラーニングに基づく少数ショットセマンティックセグメンテーションのフレームワーク、MetaSegNetを提案する。本手法は、事前学習や追加知識を用いずに、エンド・ツー・エンドで訓練可能であり、PASCAL VOCおよびCOCOデータセットにおいて、先行研究を上回る最先端の性能を達成する。

ABSTRACT

To address the annotation scarcity issue in some cases of semantic segmentation, there have been a few attempts to develop the segmentation model in the few-shot learning paradigm. However, most existing methods only focus on the traditional 1-way segmentation setting (i.e., one image only contains a single object). This is far away from practical semantic segmentation tasks where the K-way setting (K>1) is usually required by performing the accurate multi-object segmentation. To deal with this issue, we formulate the few-shot semantic segmentation task as a learning-based pixel classification problem and propose a novel framework called MetaSegNet based on meta-learning. In MetaSegNet, an architecture of embedding module consisting of the global and local feature branches is developed to extract the appropriate meta-knowledge for the few-shot segmentation. Moreover, we incorporate a linear model into MetaSegNet as a base learner to directly predict the label of each pixel for the multi-object segmentation. Furthermore, our MetaSegNet can be trained by the episodic training mechanism in an end-to-end manner from scratch. Experiments on two popular semantic segmentation datasets, i.e., PASCAL VOC and COCO, reveal the effectiveness of the proposed MetaSegNet in the K-way few-shot semantic segmentation task.

研究の動機と目的

• 限られたアノテーションデータにおけるセマンティックセグメンテーションの課題に取り組み、特に少数ショット学習が未開拓である多対象（Kウェイ）シナリオを対象とする。
• メトリック学習に依存する既存手法や、ImageNetでの事前学習、または非線形分類器の複雑さによりエンド・ツー・エンド学習が困難になるという制限を克服する。
• 事前知識や広範なファインチューニングを必要とせず、少数ショットタスクに普遍的に一般化できるフレームワークを開発する。
• エピソードベースのメタラーニングを用いて、ピクセルレベル分類に適したシンプルで強力なアーキテクチャにより、スクラッチからの有効な訓練を可能にする。

提案手法

• 画像レベルの類似度マッチングではなく、密度付きピクセル分類タスクとして少数ショットセマンティックセグメンテーションを定式化する。
• グローバルコンテキストとローカル特徴の2つの並列ブランチを備えた新規埋め込みモジュールを導入し、包括的なメタ知識を抽出する。
• メタトレーニング中の効率的で安定した最適化を実現するため、ベースラーナーとして線形リッジ回帰モデルを採用する。
• エピソードトレーニングにより、サポートセットとクエリセットを備えた新しい少数ショットセグメンテーションタスクをシミュレートしながら、全モデルをエンド・ツー・エンドで訓練する。
• メタロスを活用して、埋め込みモジュールが多様なKウェイ少数ショットタスクに一般化できるように最適化する。
• ImageNetやその他の外部データセットでの事前学習を必要とせず、スクラッチから訓練可能なフレームワークを設計する。

実験結果

リサーチクエスチョン

• RQ1 学習ベースのピクセル分類アプローチは、Kウェイ少数ショットセマンティックセグメンテーションにおいて、類似度ベースのメトリック学習を上回ることができるか？
• RQ2 非線形分類器ではなく線形分類器を用いることで、少数ショットセグメンテーションにおける学習の安定性と性能が向上するか？
• RQ3 グローバルおよびローカル特徴を統合した二重ブランチ埋め込みモジュールは、少数ショットセグメンテーションにおいてどれほど効果的か？
• RQ4 ImageNetのような大規模データセットでの事前学習を必要とせず、強力な性能を達成できるか？
• RQ5 サポートショット数の増加が、少数ショット設定におけるセグメンテーション精度に与える影響は何か？

主な発見

• MetaSegNetは、1ショット2ウェイのPASCAL-5i_valスプリットで平均IoU 38.92%を達成し、前回の最先端手法を1.17%上回った。
• 5ショット設定では、平均IoUが49.44%に達し、2番目に優れた手法よりも1.10%向上した。
• アブレーションスタディにより、グローバルコンテキストブランチが性能に顕著な寄与をしていることが確認され、1ショットではmIoUが1.27%向上、5ショットでは1.10%向上した。
• リッジ回帰を1×1畳み込み層に置き換えた（MetaSegConv）場合、1ショットで2.75%、5ショットで12.3%の性能低下が生じ、線形分類器の優位性を示した。
• サポートセットのショット数と性能の間に正の相関関係が確認され、限られた監視信号を効果的に活用していることが裏付けられた。
• MetaSegNetは、事前学習や外部知識を一切用いずに最先端の結果を達成した。これは、真の少数ショットシナリオにおいて本手法の有効性を証明するものである。