[論文レビュー] Multi-Target Domain Adaptation via Unsupervised Domain Classification for Weather Invariant Object Detection

Ting Sun, Jinlin Chen+1 more|arXiv (Cornell University)|Mar 25, 2021

Domain Adaptation and Few-Shot Learning参考文献 39被引用数 5

ひとこと要約

本稿では、スタイル変換とk-meansクラスタリングを用いて、ラベルなしのターゲットドメイン画像を天候状態（曇り、雨、夜間）に分類することで、天候に依存しないオブジェクト検出のための教師なしマルチターゲットドメイン適応手法を提案する。各クラスタ毎にスタイル変換モデルを別々に訓練し、合成アノテーション付きデータを生成することで、ドメインラベルを必要とせずに多様な天候条件下でも頑健なオブジェクト検出が可能となり、ナードメインミキシングより優れた性能を示し、準教師あり性能に近い結果を得た。

ABSTRACT

Object detection is an essential technique for autonomous driving. The performance of an object detector significantly degrades if the weather of the training images is different from that of test images. Domain adaptation can be used to address the domain shift problem so as to improve the robustness of an object detector. However, most existing domain adaptation methods either handle single target domain or require domain labels. We propose a novel unsupervised domain classification method which can be used to generalize single-target domain adaptation methods to multi-target domains, and design a weather-invariant object detector training framework based on it. We conduct the experiments on Cityscapes dataset and its synthetic variants, i.e. foggy, rainy, and night. The experimental results show that the object detector trained by our proposed method realizes robust object detection under different weather conditions.

研究の動機と目的

• 変化する天候条件に起因する自動運転におけるオブジェクト検出のドメインシフトを解消すること。
• ドメインラベルを必要とせずに、単一ターゲットドメイン適応手法を複数のラベルなしターゲットドメインに一般化すること。
• 教師なしのスタイル特徴のクラスタリングを用いて、多様な天候条件下における高品質な合成トレーニングデータを生成するフレームワークを開発すること。
• ドメイン不変表現学習により、未観測の天候条件下でもオブジェクト検出器の頑健性を向上させること。

提案手法

• ソースドメイン（Cityscapes）と混合ターゲットドメイン（曇り、雨、夜間の画像を統合）の間で、1つのMUNITスタイルの変換モデルを訓練する。
• 混合ドメインMUNITモデルを用いて、ターゲットドメイン画像からAdaINパラメータを抽出し、スタイル特徴を表現する。
• AdaINパラメータにk-meansクラスタリングを適用し、ラベルなしでターゲット画像を明確な天候ドメイン（k=3）に分類する。
• クラスタリングされたデータを用いて、各ソース-ターゲットドメインペア（例：Cityscapes → 雨、Cityscapes → 夜）ごとに別々のMUNITモデルを訓練する。
• 各ドメイン用のMUNITモデルを用いて、ソースドメイン画像から合成された完全にアノテーション済みのターゲットドメイン画像を生成する。
• ソースデータと生成されたターゲットデータを組み合わせた拡張データセット上で、天候に依存しないオブジェクト検出器（Faster R-CNN）を訓練する。

実験結果

リサーチクエスチョン

• RQ1 教師なしドメイン分類が、真のラベルなしで複数のターゲットドメイン（例：曇り、雨、夜間）を効果的に分離できるか？
• RQ2 混合ターゲットドメインで訓練された1つのスタイル変換モデルが、スタイル特徴抽出により明確な天候条件を分離可能か？
• RQ3 教師なしクラスタリングを用いたマルチターゲットドメイン適応が、ナードメインミキシングに比べて多様な天候条件下でのオブジェクト検出性能を向上させるか？
• RQ4 教師なしマルチターゲットドメイン適応は、検出mAPの観点で、教師ありドメイン適応性能にどの程度近づけるか？

主な発見

• 提案手法は、すべての4つのドメイン（Cityscapes、雨、夜、曇り）において、教師ありベースラインのmAPの1〜2%以内で性能を達成し、優れた一般化性能を示した。
• ナードメインミキシングベースラインに比べて顕著な性能向上を示しており、すべてのターゲットドメインを1つのドメインとして扱うと性能が劣化することを裏付けた。
• 'gt domain'設定（クラスタリングに真のラベルを使用）は、教師ありの上限性能に非常に近づき、全体のフレームワークの有効性を検証した。
• k=3でk-meansクラスタリングが3つの主要な天候状態を的確に分離しており、t-SNE可視化とシルエット係数解析により裏付けられた。
• 本手法による生成画像は、ナードメインミキシングのものよりも実際のターゲットドメイン画像に近い視覚的品質を示しており、データ品質の向上を示している。
• 混合ドメインMUNITモデルからのAdaINパラメータの使用により、教師なしのドメイン分類が可能となり、複数のターゲットドメインへのスケーラブルな適応が実現した。