[論文レビュー] WEDGE: Web-Image Assisted Domain Generalization for Semantic Segmentation

Namyup Kim, Taeyoung Son+4 more|arXiv (Cornell University)|Sep 29, 2021

Domain Adaptation and Few-Shot Learning参考文献 43被引用数 4

ひとこと要約

WEDGEは、合成訓練画像にウェブ画像のスタイルをリアルタイムで注入し、2段階の訓練プロセスで疑似ラベル付きのウェブ画像を活用することで、未観測ドメインにわたるセマンティックセグメンテーションのモデル一般化を向上させるウェブ画像支援ドメイン一般化フレームワークを提案する。多様でアプリケーション関連のウェブクロールド画像を活用することで、複数の実世界テストドメインで平均5.5%の向上を達成し、最先端の性能を実現した。

ABSTRACT

Domain generalization for semantic segmentation is highly demanded in real applications, where a trained model is expected to work well in previously unseen domains. One challenge lies in the lack of data which could cover the diverse distributions of the possible unseen domains for training. In this paper, we propose a WEb-image assisted Domain GEneralization (WEDGE) scheme, which is the first to exploit the diversity of web-crawled images for generalizable semantic segmentation. To explore and exploit the real-world data distributions, we collect web-crawled images which present large diversity in terms of weather conditions, sites, lighting, camera styles, etc. We also present a method which injects styles of the web-crawled images into training images on-the-fly during training, which enables the network to experience images of diverse styles with reliable labels for effective training. Moreover, we use the web-crawled images with their predicted pseudo labels for training to further enhance the capability of the network. Extensive experiments demonstrate that our method clearly outperforms existing domain generalization techniques.

研究の動機と目的

• 訓練時にそのデータにアクセスできない未観測の実世界ドメインに一般化できるように、セマンティックセグメンテーションにおけるドメイン一般化の課題に対処すること。
• ImageNetのような限られたスタイルソースに依存する従来のドメイン一般化手法の限界を克服し、ターゲットアプリケーションとは関連性の薄いスタイルソースを避けること。
• 天候、照明、カメラスタイル、地理的場所をカバーする、実世界のウェブクロールド画像の多様性を活用して、より効果的かつ現実的なドメイン一般化を実現すること。
• 画像対画像変換を必要とせず、大規模なウェブ画像コレクションを効率的に活用できる、リアルタイムでの特徴マップレベルのスタイル注入機構を効率的に開発すること。
• 2段階の訓練パイプラインを用いて、予測された疑似ラベルを備えたウェブクロールド画像を活用することで、モデルの一般化性能を向上させること。

提案手法

• アプリケーション固有のキーワード（例：「ドライブ + 道路」）を用いて、ターゲットドメインに関連するウェブクロールド画像を収集する。
• 訓練中にリアルタイムで、初期の残差ブロック（ResNetでは1番目と2番目、VGGでは2番目と3番目）の特徴統計を用いて、ウェブ画像の特徴レベルのスタイルを合成訓練画像に転送するスタイルインジェクションモジュールを採用する。
• 訓練プロセスは2段階に分ける：第1段階では、合成画像を用いたスタイルインジェクションによるモデル訓練；第2段階では、予測された疑似ラベルを備えたウェブクロールド画像を追加の訓練データとして追加する。
• ウェブクロールド画像の疑似ラベルは、第1段階で訓練されたモデルを用いて生成され、ラベル信頼度を制御するしきい値ハイパーパramータτが使用される。
• 画像対画像変換を避けることで、特徴マップ上で直接処理を行うことで、大規模なウェブ画像コレクションの効率的利用を可能にする。
• アブレーションスタディにより、深層のレイヤー（例：4番目の残差ブロック）にスタイルをインジェクションすると性能が低下することが判明し、スタイル転送には初期特徴マップがより適していることが裏付けられた。

Figure 1: Overall framework of WEDGE. (1) Crawling real and task-relevant images from the Web automatically. (2) Learning semantic segmentation while transferring feature statistics of web images to features of synthetic training images in the source domain. (3) Further training the model using both

実験結果

リサーチクエスチョン

• RQ1 多様な実世界的特徴（天候、照明、カメラスタイル、地理的場所など）を有するウェブクロールド画像は、合成データのみに依存する場合に比べ、セマンティックセグメンテーションにおけるドメイン一般化を向上させることができるか？
• RQ2 ウェブ画像からリアルタイムで特徴マップレベルにスタイルをインジェクションすることで、画像対画像変換やランダムなスタイル増強に比べ、より良い一般化性能が得られるか？
• RQ3 意味的に関連性の薄いウェブクロールド画像であっても、2段階の訓練戦略を用いることで、疑似ラベルを付与することでモデルの頑健性が向上するか？
• RQ4 ウェブ画像のキーワード選定（例：「ドライブ + 雾」対「ドライブ + 道路」）が、モデルの一般化性能にどのように影響するか？
• RQ5 意味的整合性を保ちつつドメイン一般化を強化するための最適な特徴レイヤーの集合は何か？

主な発見

• WEDGEは、3つの実世界テストデータセット（Cityscapes、BDD100K、Mapillary）で最先端の性能を達成し、ResNet101を用いてGTA5で訓練した場合、Cityscapesテストセットで平均47.30%のmIoUを達成した。
• 従来のドメイン一般化手法に比べ、平均mIoUで最大5.5%の向上を示し、ドメイン間一般化性能の顕著な向上を実証した。
• 一般キーワード「ドライブ + 道路」を用いたウェブ画像取得は、ドメイン特化キーワード「ドライブ + 雾」（43.39%平均mIoU）よりも優れた性能（43.73%平均mIoU）を示した。
• 疑似ラベル化されたウェブ画像を含む2段階訓練プロセスは、第1段階のみの訓練に比べてmIoUが2.5～3.5%向上し、追加のウェブ画像データの有効性を確認した。
• アブレーションスタディにより、深層のレイヤー（例：4番目の残差ブロック）にスタイルをインジェクションすると性能が劣化することが判明し、スタイル転送には初期特徴マップがより適していることが示された。
• τ = 0.05で疑似ラベルをしきい値処理すると、ラベル品質と訓練安定性のバランスが最良となり、より低いしきい値（例：τ = 0.01）では性能が低下した。

Figure 2: Qualitative examples of web images and their pseudo labels generated by the segmentation model with ResNet101 backbone trained by the first stage of WEDGE. (a) Input images. (b) Pseudo segmentation labels. These images demonstrate large diversity of the web images, which is vital for achie