[논문 리뷰] Weakly Supervised One-Shot Detection with Attention Siamese Networks

Gil Keren, Maximilian Schmitt외 2명|arXiv (Cornell University)|2018. 01. 10.

Anomaly Detection Techniques and Applications참고 문헌 35인용 수 10

한 줄 요약

이 논문은 주어진 예시 이미지 한 장과 타겟 이미지를 기반으로 새로운 클래스를 식별하고 국소화하는 약한 감독(one-shot) 탐지 모델을 제안한다. 주어진 예시 이미지 한 장과 타겟 이미지를 기반으로 새로운 클래스를 식별하고 국소화하는 약한 감독(one-shot) 탐지 모델을 제안한다. 클래스에 관계없는 특징 학습과 주의 기반 특징 정련을 통해 시각 및 음성 데이터셋에서 기준 모델을 능가한다.

ABSTRACT

Neural network models that are not conditioned on class identities were shown to facilitate knowledge transfer between classes and to be well-suited for one-shot learning tasks. Following this motivation, we further explore and establish such models and present a novel neural network architecture for the task of weakly supervised one-shot detection. Our model is only conditioned on a single exemplar of an unseen class and a larger target example that may or may not contain an instance of the same class as the exemplar. By pairing a Siamese similarity network with an attention mechanism, we design a model that manages to simultaneously identify and localise instances of classes unseen at training time. In experiments with datasets from the computer vision and audio domains, the proposed method considerably outperforms the baseline methods for the weakly supervised one-shot detection task.

연구 동기 및 목표

• 이미지 또는 음성에서 최소한의 감독 하에 새로운 객체 클래스를 탐지하는 문제에 대응하기 위해.
• 학습 중에 클래스별 특성 주석이 필요 없이 one-shot 탐지 기능을 가능하게 하기 위해.
• 클래스에 관계없는 특징 학습을 통해 제로샷 일반화 성능을 향상시키기 위해.
• 단일 예시 이미지만을 사용하여 미리 보지 않은 클래스를 동시에 국소화하고 식별할 수 있는 모델 설계를 위해.

제안 방법

• 모델은 단일 예시 이미지와 타겟 이미지의 영역 간 유사도를 계산하기 위해 시아모닉 네트워크를 활용한다.
• 예시 이미지 기반으로 타겟 이미지 내 관련 특징을 동적으로 강조하기 위해 주의 메커니즘을 통합한다.
• 클래스에 관계없는 표현을 학습함으로써 클래스 간 지식 전이를 촉진하기 위해 시아모닉 브랜치가 사용된다.
• 학습은 약한 감독을 통해 종료되며, 타겟 이미지에 예시 클래스가 존재하는지 여부만 제공된다.
• 시아모닉 네트워크의 특징 맵과 주의 가중치를 융합하여 국소화 예측을 정련한다.
• 학습 중에 바운딩 박스 주석이 필요 없이, 새로운 클래스의 동시 탐지 및 국소화가 가능하다.

실험 결과

연구 질문

• RQ1 클래스에 관계없는 신경망 아키텍처가 최소한의 감독 하에 one-shot 설정에서 효과적으로 새로운 클래스를 탐지하고 국소화할 수 있는가?
• RQ2 주의 메커니즘을 통합함으로써 약한 감독 one-shot 탐지에서 국소화 정확도는 어떻게 향상되는가?
• RQ3 공유된 가중치를 가진 시아모닉 네트워크와 주의 메커니즘의 조합을 통해 클래스 간 지식 전이 능력은 어느 정도 향상되는가?
• RQ4 제안된 방법은 컴퓨터 시각 및 음성과 같은 다양한 도메인으로 일반화되는가?

주요 결과

• 제안된 방법은 약한 감독 one-shot 탐지 벤치마크에서 기준 모델을 크게 능가한다.
• 시아모닉 네트워크에 주의 기반 기법을 통합함으로써 예시와 일치하는 관련 영역에 집중함으로써 국소화 정확도가 향상된다.
• 클래스에 관계없는 특징 학습 전략 덕분에 모델은 새로운 클래스로 잘 일반화된다.
• 이 방법은 이미지 및 음성 데이터셋 양쪽에서 뛰어난 성능을 보이며, 다양한 도메인에 적용 가능함을 입증한다.