[論文レビュー] A Free Lunch for Unsupervised Domain Adaptive Object Detection without Source Data

Xianfeng Li, Weijie Chen+5 more|arXiv (Cornell University)|Dec 10, 2020

Domain Adaptation and Few-Shot Learning参考文献 36被引用数 11

ひとこと要約

本稿では、元の学習データにアクセスせずに、事前学習済みのソースモデルを用いてターゲットドメインの学習にための疑似ラベルを生成する、ソースデータフリーな自己教師的ドメイン適応物体検出（SFOD）フレームワークを提案する。自己エントロピー降下（SED）を導入して、疑似ラベル生成のための最適な信頼度しきい値を自動的に選択するとともに、Mosaicデータオーグメンテーションを用いて誤検出（偽陰性）をシミュレートすることで、複数のドメイン適応ベンチマークで最先端の性能を達成した。これにより、従来のUDA手法においてソースデータが十分に活用されていないことが示された。

ABSTRACT

Unsupervised domain adaptation (UDA) assumes that source and target domain data are freely available and usually trained together to reduce the domain gap. However, considering the data privacy and the inefficiency of data transmission, it is impractical in real scenarios. Hence, it draws our eyes to optimize the network in the target domain without accessing labeled source data. To explore this direction in object detection, for the first time, we propose a source data-free domain adaptive object detection (SFOD) framework via modeling it into a problem of learning with noisy labels. Generally, a straightforward method is to leverage the pre-trained network from the source domain to generate the pseudo labels for target domain optimization. However, it is difficult to evaluate the quality of pseudo labels since no labels are available in target domain. In this paper, self-entropy descent (SED) is a metric proposed to search an appropriate confidence threshold for reliable pseudo label generation without using any handcrafted labels. Nonetheless, completely clean labels are still unattainable. After a thorough experimental analysis, false negatives are found to dominate in the generated noisy labels. Undoubtedly, false negatives mining is helpful for performance improvement, and we ease it to false negatives simulation through data augmentation like Mosaic. Extensive experiments conducted in four representative adaptation tasks have demonstrated that the proposed framework can easily achieve state-of-the-art performance. From another view, it also reminds the UDA community that the labeled source data are not fully exploited in the existing methods.

研究の動機と目的

• プライバシー制約や送信制約によりソースデータが入手不可能な状況下で、物体検出における自己教師的ドメイン適応の実用的課題に対処すること。
• ラベル付きソースデータに直接アクセスせずに、事前学習済みのソースモデルのみを用いて効果的なドメイン適応を可能にする手法を開発すること。
• 実際の正解ラベルが利用できない状況下で、自己エントロピー降下（SED）を用いて信頼性の高い信頼度しきい値を自動的に選択することで、疑似ラベルの品質を向上させること。
• 特に偽陰性が顕著なノイズの原因となるため、Mosaicなどのデータオーグメンテーション技術を用いて偽陰性をシミュレートすることで、ノイズの影響を軽減すること。
• 従来のUDA手法がソースデータを十分に活用していない可能性を示し、ソースフリーな適応手法が同等または優れた性能を達成できることを示すこと。

提案手法

• フレームワークは、事前学習済みのソースモデルを用いて、ラベルなしのターゲットドメインサンプルに対して疑似ラベルを生成する。
• 自己エントロピー降下（SED）を提案し、ターゲットデータセット全体の予測の平均自己エントロピーを最小化することで、最適な信頼度しきい値を探索する指標として用いる。
• 信頼度しきい値は、高値から低値へ減少する過程で最初の局所的最小値を採用し、真陽性とノイズラベルのバランスを最適化する。
• 偽陰性は、特に小さな物体や隠れている物体において、疑似ラベルにおける主要なノイズタイプであることが特定された。
• Mosaicデータオーグメンテーションを適用して偽陰性をシミュレートし、難易度の高い陽性サンプルの検出を向上させる。
• フィルタリングおよびオーグメントされた疑似ラベルを用いて、自己学習の形でターゲット検出器をエンドツーエンドに訓練する。

実験結果

リサーチクエスチョン

• RQ1 ソースドメインデータへのアクセスが全くない状況下でも、自己教師的ドメイン適応物体検出を効果的に行うことは可能か？
• RQ2 実際の正解ラベルが利用できない状況下で、疑似ラベル生成のための最適な信頼度しきい値をどのように選択できるか？
• RQ3 ソースデータが利用できない状況下で、疑似ラベルにおける主要なノイズタイプは何か、そしてどのように軽減できるか？
• RQ4 Mosaicのようなデータオーグメンテーション技術は、偽陰性を効果的にシミュレートでき、ソースフリーなドメイン適応における検出性能を向上させることができるか？
• RQ5 従来のUDA手法はどれほどソースデータを未活用としているのか、またソースフリー手法は同等の性能を達成できるか？

主な発見

• 提案されたSFODフレームワークは、いかなるソースデータにもアクセスせずに、4つの代表的なドメイン適応タスクで最先端の性能を達成した。
• SEDを用いた信頼度しきい値選択により、CityscapesからFoggy Cityscapesへの適応タスクでmAPが最大33.5%向上し、ベースラインの22.3%を上回った。
• SEDとMosaicオーグメンテーションを組み合わせることで、同じタスクでmAPが36.3%にまで向上し、偽陰性シミュレーションの有効性が裏付けられた。
• BDD100kへの適応タスク（CityscapesからBDD100k）において、SFODは37.0%のmAPを達成し、CR-DA-DETのベースライン26.9%を上回った。
• ターゲットドメインの画像を除霧処理することで、SFODの性能が約3%向上した。これは、霧がラベルノイズを増加させ、検出品質を低下させることを示唆している。
• 広範なアブレーション実験により、偽陰性が疑似ラベルにおける主なノイズ要因であることが確認され、Mosaicによる偽陰性シミュレーションの設計選択が妥当であることが裏付けられた。