[論文レビュー] Generalized Few-Shot Semantic Segmentation: All You Need is Fine-Tuning

Josh Myers-Dean, Yinan Zhao+3 more|arXiv (Cornell University)|Dec 21, 2021

Domain Adaptation and Few-Shot Learning被引用数 8

ひとこと要約

本論文は、一般化少数-shot画像セグメンテーションのためのシンプルな2段階微調整アプローチを提案する。特徴抽出器を固定したまま分類器ヘッドを微調整することで、PASCAL-5iおよびCOCO-20iで最先端の性能を達成した。さらに、三重項損失正則化がベースクラスと新規クラス間の性能バランスを改善し、従来のメタラーニング手法で見られた性能飽和を解消することを示した。

ABSTRACT

Generalized few-shot semantic segmentation was introduced to move beyond only evaluating few-shot segmentation models on novel classes to include testing their ability to remember base classes. While the current state-of-the-art approach is based on meta-learning, it performs poorly and saturates in learning after observing only a few shots. We propose the first fine-tuning solution, and demonstrate that it addresses the saturation problem while achieving state-of-the-art results on two datasets, PASCAL-5i and COCO-20i. We also show that it outperforms existing methods, whether fine-tuning multiple final layers or only the final layer. Finally, we present a triplet loss regularization that shows how to redistribute the balance of performance between novel and base categories so that there is a smaller gap between them.

研究の動機と目的

• 既存のメタラーニングベースの一般化少数-shot画像セグメンテーションモデルにおける性能飽和と一般化性能の低さを解決すること。
• 他の少数-shot学習タスクで成功した微調整が、一般化少数-shot画像セグメンテーションにおいても有効であるかを調査すること。
• モデル性能に与える影響を評価するために、ネットワークの異なる部品（例：最終層のみ vs. 全ての層）を微調整することの影響を検討すること。
• 三重項損失正則化が、ベースクラスと新規クラス間の性能バランスを改善できるかを検討すること。
• シンプルでスケーラブルな微調整を用いて、一般化少数-shot画像セグメンテーションの新しい最先端ベースラインを確立すること。

提案手法

• 2段階の訓練プロセスを用いる：まず豊富なアノテーションを持つベースクラスで事前学習を行い、その後、少数のサポートセットを用いてベースクラスおよび新規クラスで微調整を行う。
• 微調整段階では、分類器より前のすべての層を固定し、サポートセットのアノテーションを用いて分類器ヘッドのみを更新する。
• 2つのバリエーションを評価する：最終層のみを微調整する（Ours-Vanilla）と、バックボーン以降のすべての層を微調整する（Ours-TripletAll）。
• 三重項損失を導入し、ピクセル特徴量間の類似性と非類似性を明示的にモデル化することで、ベースクラスおよび新規クラスの両方の特徴量の識別性を向上させる。
• 三重項損失は微調整中に適用され、同じクラスの特徴量埋め込みが異なるクラスのものよりも近くなるように促進する。
• 性能評価は、1、5、10、100ショット設定におけるPASCAL-5iおよびCOCO-20iでの平均交差率（mIoU）を用いる。

実験結果

リサーチクエスチョン

• RQ1 シンプルな微調整アプローチが、一般化少数-shot画像セグメンテーションにおいて、最先端のメタラーニング手法を上回ることができるか？
• RQ2 最終分類器層のみを微調整するか、バックボーン以降のすべての層を微調整するかのどちらがより高い性能を達成するか？
• RQ3 三重項損失正則化が、ベースクラスと新規クラス間の性能バランスを改善できるか？
• RQ4 メタラーニングベースラインで見られたように、ショット数の増加に伴い、微調整モデルでも性能飽和が生じるか？
• RQ5 訓練時にベースクラスと新規クラスの比率が、モデルの一般化性能と性能バランスに与える影響は何か？

主な発見

• 提案された微調整アプローチは、PASCAL-5iおよびCOCO-20iの両方で新しい最先端のmIoUを達成し、従来のメタラーニングベースラインGFS-Segを上回った。
• 本手法は性能飽和を示さず、1から10ショットにかけてmIoUが安定して上昇した。一方、GFS-Segは僅か0.3ポイントの向上にとどまった。
• バックボーン以降のすべての層を微調整する（Ours-TripletAll）と、最終層のみを微調整する場合に比べ、特にベースクラスと新規クラスの性能バランスにおいて優れた性能を示した。
• 三重項損失正則化により、ベースクラスと新規クラス間の性能ギャップが縮小され、新規クラスのmIoUが向上した一方で、ベースクラスの性能は維持された。
• コサイン類似度を用いた対照学習（Ours-Cosine）は、バニラ微調整ベースラインと比較して、5ショットと10ショットのそれぞれで合計mIoUが1.04ポイントおよび5.39ポイント低下した。
• 新規クラスの割合が高いほど性能が低下し、主にベースクラスの性能低下に起因するため、訓練時のクラス分布に感受性が高いことが示された。