[論文レビュー] Towards Universal Object Detection by Domain Attention

Xudong Wang, Zhaowei Cai+2 more|arXiv (Cornell University)|Apr 9, 2019

Advanced Neural Network Applications参考文献 59被引用数 19

ひとこと要約

本論文は、事前知識のない状態でドメイン固有のサブネットワークに特徴を動的にルーティングする、ドメインに注意を払うユニバーサルオブジェクト検出器を提案する。共有バックボーンに学習可能なユニバーサルなスイープ・エクスカーション（SE）アダプタを組み込み、新規のドメインアテンションメカニズムを用いる。11の多様なデータセットで最先端の性能を達成しており、未発展ドメインにおいても単一ドメイン検出器を上回っている。パrameter数は単一ドメインベースラインの1.3倍にとどまる。

ABSTRACT

Despite increasing efforts on universal representations for visual recognition, few have addressed object detection. In this paper, we develop an effective and efficient universal object detection system that is capable of working on various image domains, from human faces and traffic signs to medical CT images. Unlike multi-domain models, this universal model does not require prior knowledge of the domain of interest. This is achieved by the introduction of a new family of adaptation layers, based on the principles of squeeze and excitation, and a new domain-attention mechanism. In the proposed universal detector, all parameters and computations are shared across domains, and a single network processes all domains all the time. Experiments, on a newly established universal object detection benchmark of 11 diverse datasets, show that the proposed detector outperforms a bank of individual detectors, a multi-domain detector, and a baseline universal detector, with a 1.3x parameter increase over a single-domain baseline detector. The code and benchmark will be released at http://www.svcl.ucsd.edu/projects/universal-detection/.

研究の動機と目的

• 事前ドメイン知識が不要な状態で、多様な画像ドメインに一般化可能なユニバーサルオブジェクト検出システムの不足を解消すること。
• 推論時にドメイン同定が必要で、ドメイン数に比例してパrameterが線形に増加する多ドメイン検出器の限界を克服すること。
• 未知のドメインにデータ駆動型アテンションメカニズムで適応可能な、1つのパrameter効率的かつ常に有効な検出器を設計すること。
• 11の多様なオブジェクト検出データセットを含む、ユニバーサル検出性能を評価するための新規ベンチマークUODBを確立すること。
• 複数のデータセット間での共有表現学習が、リソースが限られたドメインやドメインシフトが生じるドメインでの検出性能を顕著に向上させられることを示すこと。

提案手法

• キーレイヤーに挿入されたユニバーサルSEアダプタのバンクを備えた共有バックボーンと組み合わせたユニバーサルオブジェクト検出器を提案し、特徴の変調を可能にする。
• SEアダプタ出力の上での学習可能なアテンションメカニズムを用いて、特徴応答を特定のドメインに割り当てるドメインアテンション（DA）モジュールを導入する。
• すべての11のデータセットを同時に使用したマルチタスク学習目的関数により、ネットワーク全体をエンドツーエンドで訓練し、DAモジュールが教師なしでドメイン固有のルーティングを学習できるようにする。
• 計算負荷を最小限に抑えるために、スイープ・エクスカーションネットワークにインspiredされた軽量でパrameter効率の良いアダプタ設計を採用する。
• DAモジュールを用いて、推論時にアクティベーションをドメイン特化サブネットワークに動的にルーティングし、同じネットワークが複数のドメインに適応可能にする。
• すべてのデータセットにわたる統合学習スキームを最適化することで、知識の転送を促進し、特にリソースが限られたドメインでの一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 推論時にドメイン同定を必要とせず、重複しない多様な画像ドメインに広く一般化可能な1つのユニバーサルオブジェクト検出器を訓練可能か？
• RQ2 データ駆動型ドメインアテンションメカニズムは、顕著なドメインシフトを伴う複数のドメインに適応可能な共有検出器をどれほど効果的に支援できるか？
• RQ3 複数のデータセット間での共有表現学習は、リソースが限られたドメインやドメインシフトが生じるドメインでの検出性能をどの程度向上させられるか？
• RQ4 提案されたユニバーサル検出器は、専用の単一ドメイン検出器およびドメイン固有の適応が必要な多ドメイン検出器を上回るか？
• RQ5 ネットワークに適切に配置された最小限のユニバーサルアダプタのみで、完全なアダプタバンクと同等の性能を達成でき、パrameter数を削減できるか？

主な発見

• 提案されたドメインアテンション付きユニバーサル検出器は、UODBベンチマークにおいて個別の検出器バンク、多ドメイン検出器、ベースラインユニバーサル検出器をすべて上回った。
• COCOおよびVOCデータセットでは、すべての11のデータセットで学習したユニバーサル検出器が、単一ドメインベースラインよりmAPで4.5ポイント向上し、パrameter数は1.3倍にとどまった。
• KITTIでは、Moderate設定でmAPが6.4ポイント向上し、当該データセットに特化して最適化された検出器と同等の性能を達成した。
• リソースが限られたドメイン（例：DeepLesion、clipart、comicなど）では、ユニバーサル検出器が最先端の手法を著しく上回り、統合学習による過学習の緩和効果を示した。
• 最初のブロックおよび中間ブロックに6つのユニバーサルSEアダプタを搭載した蒸留モデルが、パrameter数を削減しながら最も優れた性能を示し、単一ドメインベースラインをmAPで4.5ポイント上回った。
• ドメインアテンションメカニズムは、VOC/COCO（類似）とDOTA/DeepLesion（相違）の間で明確に異なるアテンション分布を学習しており、ドメイン特性を的確に捉えられることを実証した。