[論文レビュー] Wave-SAN: Wavelet based Style Augmentation Network for Cross-Domain Few-Shot Learning

Yuqian Fu, Yu Xie+3 more|arXiv (Cornell University)|Mar 15, 2022

Domain Adaptation and Few-Shot Learning被引用数 16

ひとこと要約

本論文は、離散ウェーブレット変換を用いて画像を低周波成分（形状／スタイル）と高周波成分（テクスチャ）に分解することで、視覚的スタイルのシフトに強いモデルを実現するウェーブレットベースのスタイル増強ネットワークWave-SANを提案する。低周波成分に対して適応的インスタンス正規化（AdaIN）を用いてスタイル増強を実施しつつ、テクスチャを保持する。また、意味的ドリフトを防ぐために自己教師型学習モジュールを導入する。本手法は複数のCD-FSLベンチマークで最先端性能を達成し、ベースラインモデル比最大6.32%の精度向上を実現した。

ABSTRACT

Previous few-shot learning (FSL) works mostly are limited to natural images of general concepts and categories. These works assume very high visual similarity between the source and target classes. In contrast, the recently proposed cross-domain few-shot learning (CD-FSL) aims at transferring knowledge from general nature images of many labeled examples to novel domain-specific target categories of only a few labeled examples. The key challenge of CD-FSL lies in the huge data shift between source and target domains, which is typically in the form of totally different visual styles. This makes it very nontrivial to directly extend the classical FSL methods to address the CD-FSL task. To this end, this paper studies the problem of CD-FSL by spanning the style distributions of the source dataset. Particularly, wavelet transform is introduced to enable the decomposition of visual representations into low-frequency components such as shape and style and high-frequency components e.g., texture. To make our model robust to visual styles, the source images are augmented by swapping the styles of their low-frequency components with each other. We propose a novel Style Augmentation (StyleAug) module to implement this idea. Furthermore, we present a Self-Supervised Learning (SSL) module to ensure the predictions of style-augmented images are semantically similar to the unchanged ones. This avoids the potential semantic drift problem in exchanging the styles. Extensive experiments on two CD-FSL benchmarks show the effectiveness of our method. Our codes and models will be released.

研究の動機と目的

• クロスドメイン少数ショット学習（CD-FSL）におけるソースドメインとターゲットドメイン間の大きな視覚的スタイルシフトに対処すること。既存のFSL手法はドメインギャップのため失敗する。
• ソースドメインのスタイル分布をカバーすることでモデルの汎化性能を向上させること。これは先行のCD-FSL研究で未だ十分に検討されていない。
• 意味的コンテンツを保持しつつスタイル多様性を高める、パラメータフリーで可逆なデータ増強戦略を開発すること。
• スタイル変換による意味的ドリフトを軽減するために、追加のラベルデータを必要としない自己教師型学習モジュールを導入すること。

提案手法

• 本手法は離散ウェーブレット変換（DWT）と逆離散ウェーブレット変換（IDWT）を用い、入力画像を低周波成分（形状とスタイルを含む）と高周波成分（テクスチャを含む）に分解する。
• 新規のStyleAugモジュールが、2つの画像間で低周波成分を交換するための適応的インスタンス正規化（AdaIN）を適用し、形状やテクスチャを変更せずにスタイル増強を実現する。
• 高周波成分は変更せず、分類に重要な微細なテクスチャディテールを保持する。
• 自己教師型学習（SSL）モジュールにより、元の画像とスタイル増強済み画像のモデル予測が意味的に一貫性を持つように保証し、意味的ドリフトを低減する。
• 本フレームワークはプラグアンドプレイであり、GNN や FWT などの既存のFSLモデルと統合可能で、大規模なスタイルシフトを示すターゲットドメインでも性能向上を実現する。

実験結果

リサーチクエスチョン

• RQ1 ウェーブレットベースの分解は、スタイルと形状・テクスチャを効果的に分離し、少数ショット学習におけるターゲットスタイル増強を可能にするか？
• RQ2 高周波成分のディテールを保持しつつ、低周波成分にのみスタイル増強を施すことで、クロスドメイン少数ショット学習における視覚的スタイルシフトへのロバストネスが向上するか？
• RQ3 追加のラベルデータを必要とせず、自己教師型学習モジュールがスタイル変換中の意味的ドリフトを効果的に防止できるか？
• RQ4 ソースドメインのスタイル分布をカバーすることで、大規模なドメインギャップを示す未観測のターゲットドメインにおける汎化性能はどの程度向上するか？
• RQ5 本手法Wave-SANは、多様なデータセットにおいて、既存のFSLおよびCD-FSLベースラインと比較して、精度とロバストネスの面で優れているか？

主な発見

• 完全なWave-SANモデルは2つの主要なCD-FSLベンチマークで最先端性能を達成し、5-way-1-shot設定下でCropDiseaseデータセットにおいてベースラインGNNを6.32%向上させた。
• アブレーションスタディの結果、特徴表現全体に直接スタイル増強を適用するのではなく、成分ごとの増強にDWTとIDWTを用いることで、はるかに有効であることが確認された。
• 自己教師型学習モジュールは性能向上に顕著な寄与を示し、全データセット平均でSSLを含まないバージョンと比較して1.76%の精度向上を達成した。
• t-SNE可視化の結果、Wave-SANはターゲットドメインの特徴空間においてクラス間距離を拡大し、クラス内分散を低減しており、分類能の向上が示された。
• 本手法は、ChestX、ISIC、EuroSAT、CropDiseaseの4つのターゲットデータセットすべてにおいて、ベースラインモデル（GNNおよびFWT）を一貫して向上させ、大規模な視覚的スタイルシフトに強い汎化性能とロバストネスを示した。