[論文レビュー] RestNet: Boosting Cross-Domain Few-Shot Segmentation with Residual Transformation Network

X. T. Huang, Chuang Zhu+1 more|arXiv (Cornell University)|Aug 25, 2023

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本論文では、クロスドメイン少数ショットセグメンテーションのための新しい残差変換ネットワークであるRestNetを提案する。この手法は、ドメイン間の知識伝達を強化するとともに、重要なドメイン内サポート-クエリ特徴関係を保持する。ドメインに依存しない特徴学習のための意味的強化アンカートランスフォーム（SEAT）と、元の識別的特徴を保持するドメイン内残差強化（IRE）モジュールを導入することで、RestNetはISIC、Chest X-ray、FSS-1000で最先端の性能を達成し、パラメータの増加を最小限に抑える。

ABSTRACT

Cross-domain few-shot segmentation (CD-FSS) aims to achieve semantic segmentation in previously unseen domains with a limited number of annotated samples. Although existing CD-FSS models focus on cross-domain feature transformation, relying exclusively on inter-domain knowledge transfer may lead to the loss of critical intra-domain information. To this end, we propose a novel residual transformation network (RestNet) that facilitates knowledge transfer while retaining the intra-domain support-query feature information. Specifically, we propose a Semantic Enhanced Anchor Transform (SEAT) module that maps features to a stable domain-agnostic space using advanced semantics. Additionally, an Intra-domain Residual Enhancement (IRE) module is designed to maintain the intra-domain representation of the original discriminant space in the new space. We also propose a mask prediction strategy based on prototype fusion to help the model gradually learn how to segment. Our RestNet can transfer cross-domain knowledge from both inter-domain and intra-domain without requiring additional fine-tuning. Extensive experiments on ISIC, Chest X-ray, and FSS-1000 show that our RestNet achieves state-of-the-art performance. Our code will be available soon.

研究の動機と目的

• 既存のクロスドメイン少数ショットセグメンテーションモデルがドメイン適応中にドメイン内特徴情報を失うという限界に対処すること。
• ターゲットドメインのファインチューニングを必要とせずにドメイン間の知識伝達を向上させること。
• クロスドメイン特徴変換中に、識別的ドメイン内サポート-クエリマッチングを保持すること。
• プロトタイプ統合に基づくマスク予測戦略を開発し、段階的なセグメンテーション学習を可能にすること。
• パラメータの増加を最小限に抑えながら、複数のクロスドメイン少数ショットセグメンテーションベンチマークで最先端の性能を達成すること。

提案手法

• 注意メカニズムを用いて高度な意味的特徴を抽出し、ドメインに依存しない空間に投影する、ドメインに依存しない特徴学習のための意味的強化アンカートランスフォーム（SEAT）モジュールを提案する。
• 変換されたドメインに依存しない空間における元のドメイン内特徴表現を保持するために、残差接続を用いるドメイン内残差強化（IRE）モジュールを導入する。
• 粗いソフトクエリマスクを生成し、反復的に改善することでセグメンテーション精度を向上させる、プロトタイプ統合に基づくマスク予測戦略を採用する。
• サポートとクエリ特徴の間で共有される統一された注意メカニズムを用いることで、パラメータを削減するとともに、意味的特徴の整合性を向上させる。
• 同時にドメイン間およびドメイン内の知識伝達を実現するネットワーク設計により、ターゲットドメインのファインチューニングに依存しない。
• モデルをソースドメインデータ（例：PASCAL VOC）上でエンドツーエンドに訓練し、追加の適応なしに未観測のターゲットドメインに直接適用する。

(a) Previous CD-FFS Method [ Lei et al.(2022)Lei, Zhang, He, Chen, Du, and Lu ]

実験結果

リサーチクエスチョン

• RQ1 クロスドメイン少数ショットセグメンテーションにおいて、ドメイン間の知識伝達を向上させつつ、重要なドメイン内サポート-クエリ特徴関係を保持できるか？
• RQ2 残差学習機構は、ドメインに依存しない特徴変換中に識別的ドメイン内特徴をどのように効果的に保持できるか？
• RQ3 プロトタイプ統合に基づくマスク予測戦略は、未観測ドメインにおけるより効果的で段階的なセグメンテーション学習を可能にするか？
• RQ4 統一された注意メカニズムは、CD-FSSでパラメータを削減しながら、性能を維持または向上させることができるか？
• RQ5 提案手法は、ターゲットドメインのファインチューニングを一切必要とせずに、ISIC、Chest X-ray、FSS-1000のような多様なベンチマークで最先端の結果を達成できるか？

主な発見

• RestNetはFSS-1000データセットにおいて1ショットクロスドメイン少数ショットセグメンテーションで81.53%のmIOUを達成し、先行手法を上回った。
• アブレーションスタディの結果、SEATおよびIREモジュールの両方が性能向上に顕著な寄与をしていることが確認され、MPSを含む完全なモデルはFSS-1000で81.53%のmIOUを達成した。
• 共有注意メカニズムを用いることで、非共有注意と比較して0.34%のmIOU向上（82.03% vs. 81.69%）を達成し、同時にパラメータ数を削減した。
• 可視化結果から、RestNetはPATNetよりも顕著に高いドメイン内アクティブマッチング（サポート-クエリ類似度 > 0）を保持しており、ドメイン内知識の保持が優れていることが示された。
• RestNetはわずか2.5812Mの追加パラメータを導入するのみで、計算コストの増加を最小限に抑え、高い効率性を示した。
• 本モデルは、ターゲットドメインのファインチューニングを一切必要とせず、ISIC、Chest X-ray、FSS-1000の3つの主要なCD-FSSベンチマークで最先端の性能を達成した。

(b) Our Residual Transformation Network (RestNet)