[論文レビュー] One-Shot Unsupervised Cross-Domain Detection

Antonio D’Innocente, Francesco Cappio Borlino+3 more|arXiv (Cornell University)|May 23, 2020

Advanced Neural Network Applications参考文献 53被引用数 5

ひとこと要約

本論文では、テスト時に1枚のラベルなし画像のみを用いて新しいターゲットドメインに適応する、新しいワンショット非教師付きクロスドメインオブジェクト検出フレームワーク、OSHOTを提案する。自己教師付き回転予測とクロスタスク偽ラベル付けを組み合わせたマルチタスクアーキテクチャを活用することで、複数のベンチマークで最先端の性能を達成し、ワンショット適応の状況において最大5.9 mAPポイントの向上を達成した。

ABSTRACT

Despite impressive progress in object detection over the last years, it is still an open challenge to reliably detect objects across visual domains. Although the topic has attracted attention recently, current approaches all rely on the ability to access a sizable amount of target data for use at training time. This is a heavy assumption, as often it is not possible to anticipate the domain where a detector will be used, nor to access it in advance for data acquisition. Consider for instance the task of monitoring image feeds from social media: as every image is created and uploaded by a different user it belongs to a different target domain that is impossible to foresee during training. This paper addresses this setting, presenting an object detection algorithm able to perform unsupervised adaption across domains by using only one target sample, seen at test time. We achieve this by introducing a multi-task architecture that one-shot adapts to any incoming sample by iteratively solving a self-supervised task on it. We further enhance this auxiliary adaptation with cross-task pseudo-labeling. A thorough benchmark analysis against the most recent cross-domain detection methods and a detailed ablation study show the advantage of our method, which sets the state-of-the-art in the defined one-shot scenario.

研究の動機と目的

• リアルタイムで変化し続ける環境（例：ソーシャルメディアフィード）において、新たな未観測の視覚ドメインにオブジェクト検出器を効果的に適応させる課題に対処すること。
• 既存のクロスドメイン検出手法が適応に大量のターゲットドメインデータを必要とすることの制限を克服すること。
• ターゲットデータが限られている、あるいは予測不能な状況においても利用可能な、1枚のターゲット画像からの非教師付きドメイン適応が可能なフレームワークを提案すること。
• 自己教師付き事前学習タスクとオブジェクト検出を統合したマルチタスク学習アーキテクチャを設計し、ドメイン間で一般化可能な特徴を向上させること。
• 最小限の監視情報でドメインギャップを低減するため、クロスタスク偽ラベル付けと反復的自己教師学習の有効性を検証すること。

提案手法

• 同じ特徴マップ上でオブジェクト検出と自己教師付き回転予測タスクを同時に最適化するマルチタスクディープラーニングアーキテクチャを採用する。
• 初期検出器の推論から得られる偽ラベルを用いてオブジェクト領域を切り出し、それらを回転予測タスクの入力として使用することで、意味的に関連するコンテンツに自己教師学習を集中させる。
• テスト時適応中に繰り返し自己教師学習を適用し、複数の最適化ステップを経て1枚のターゲット画像でネットワークをファインチューニングする。
• クロスタスク偽ラベル付けにより、回転予測タスクがオブジェクトレベルの特徴に制限され、ログオブジェクトや背景テクスチャなどの誤解を招くパターンを避ける。
• ネットワーク重みを1枚のターゲット画像を使って繰り返し更新することで、ソースドメインとターゲットドメイン間のドメインギャップを段階的に縮小する。
• エンドツーエンドで学習され、適応段階で完全なソース学習データセットへのアクセスを必要としないため、ワンショット推論が効率的に行える。

実験結果

リサーチクエスチョン

• RQ1 テスト時に1枚のラベルなし画像のみを用いて、ディープオブジェクト検出器を新たな視覚ドメインに効果的に適応させることは可能か？
• RQ2 オブジェクト固有の領域に限定した自己教師学習と、全体画像にわたる自己教師学習とを比較した場合、どちらがドメインギャップの低減に効果的か？
• RQ3 ワンショットクロスドメイン検出において安定した性能を得るための最適な反復的適応ステップ数は何か？
• RQ4 オブジェクト領域に限定した自己教師学習を実施することで、画像全体ではなく意味的関連領域に注目することで、特徴学習が向上するか？
• RQ5 既存の非教師付きドメイン適応およびワンショット学習手法と比較して、本手法はワンショット・クロスドメイン設定においてどのように性能を発揮するか？

主な発見

• Clipart100ベンチマークではOSHOTがmAP 30.7を達成し、ベースラインのFaster R-CNNより2.8ポイント、BiOSTより2.8ポイント高い性能を示した。
• 新しいソーシャルメディアベースのSocial Bikesデータセットでは、OSHOTは高い性能を維持している一方で、BiOSTは負の転送を示しており、現実世界の動的ドメインにおける限界を示している。
• 自己教師付き回転予測に偽ラベルによるバウンディングボックスを用いることで、異なるドメイン転送設定においてmAPが2.9〜5.9ポイント向上し、局所化された自己教師学習の有効性を実証した。
• 性能は約30回の適応イテレーション後に安定化し、それ以上のイテレーションでは顕著な向上が得られないことが示された。
• アブレーションスタディにより、画像全体ではなくオブジェクト領域に自己教師学習を集中させることで、より頑健で一般化性の高い特徴が得られ、誤ったパターンへの依存が軽減されることが確認された。
• OSHOTはワンショット非教師付きクロスドメイン検出分野で新たな最先端性能を樹立し、従来手法と比較して優れた一般化性能と耐障害性を示した。