[論文レビュー] Weakly Supervised One-Shot Detection with Attention Siamese Networks

Gil Keren, Maximilian Schmitt+2 more|arXiv (Cornell University)|Jan 10, 2018

Anomaly Detection Techniques and Applications参考文献 35被引用数 10

ひとこと要約

本稿では、1つの例示画像と1枚のターゲット画像から、クラスに依存しない特徴抽出と注目ベースの特徴精錬を活用することで、新規クラスを特定および局所化する弱教師付きワンショット検出モデルを提案する。視覚および音声データセットにおいて、ベースライン手法を上回る性能を発揮する。

ABSTRACT

Neural network models that are not conditioned on class identities were shown to facilitate knowledge transfer between classes and to be well-suited for one-shot learning tasks. Following this motivation, we further explore and establish such models and present a novel neural network architecture for the task of weakly supervised one-shot detection. Our model is only conditioned on a single exemplar of an unseen class and a larger target example that may or may not contain an instance of the same class as the exemplar. By pairing a Siamese similarity network with an attention mechanism, we design a model that manages to simultaneously identify and localise instances of classes unseen at training time. In experiments with datasets from the computer vision and audio domains, the proposed method considerably outperforms the baseline methods for the weakly supervised one-shot detection task.

研究の動機と目的

• 画像または音声において、最小限の監督のもとで新規オブジェクトクラスを検出する課題に対処すること。
• トレーニング時にクラス固有のアノテーションを必要とせずにワンショット検出を可能にすること。
• クラスに依存しない特徴抽出を活用することでゼロショット一般化を向上させること。
• 1つの例示画像のみを用いて、未学習のクラスを同時に局所化および識別できるモデルの設計

提案手法

• モデルは、1つの例示画像とターゲット画像の領域間の類似度を計算するためにシアンプスネットワークを用いる。
• 注目メカニズムを統合し、例示画像に基づいてターゲット画像内の関連する特徴を動的に強調する。
• シアンプスブランチは、クラス間の知識移譲を促進するために、クラスに依存しない表現を学習する。
• ネットワークは弱教師付き学習によりエンドツーエンドで訓練され、トレーニング時にターゲット画像内に例示クラスが存在するか否かの情報のみが与えられる。
• シアンプスネットワークの特徴マップと注目重みを統合して、局所化予測を精錬する。
• バウンディングボックスアノテーションをトレーニング時に必要とせず、未学習のクラスの検出と局所化を同時に実現できるアーキテクチャ

実験結果

リサーチクエスチョン

• RQ1 クラスに依存しないニューラルネットワークアーキテクチャは、最小限の監督のもとでワンショット設定において新規クラスを効果的に検出し、局所化できるか？
• RQ2 注目メカニズムを統合することで、弱教師付きワンショット検出における局所化精度はどのように向上するか？
• RQ3 共有重みを有するシアンプスネットワークと注目メカニズムを組み合わせることで、クラス間の知識移譲はどの程度強化できるか？
• RQ4 提案手法は、コンピュータビジョンや音声など、異なるドメインに一般化可能か？

主な発見

• 提案手法は、弱教師付きワンショット検出ベンチマークにおいて、ベースライン手法を顕著に上回る性能を発揮する。
• シアンプスネットワークと注目メカニズムの統合により、例示画像と一致する関連領域に注目することで、局所化精度が向上する。
• クラスに依存しない特徴抽出戦略のおかげで、未学習のクラスへも良好な一般化性能を示す。
• 本手法は画像および音声データセットの両方で強力な性能を発揮し、クロスドメインへの適用可能性を示している。