[논문 리뷰] Convolutional Neural Networks for Aerial Multi-Label Pedestrian Detection

Amir Soleimani, Nasser M. Nasrabadi|arXiv (Cornell University)|2018. 07. 16.

Advanced Neural Network Applications참고 문헌 11인용 수 4

한 줄 요약

이 논문은 SSD를 이용한 객체 제안 생성과 다중행동 레이블 간 공유 잠재 공간을 학습하는 VGG 기반 네트워크를 사용하여 공중 다중라벨 보행자 행동 검출을 위한 이단계 프레임워크를 제안한다. 이 방법은 Okutama-Action 데이터셋에서 28.30% mAP를 달성하여 단일단계 SSD 기반 베이스라인들(예: SSD960의 18.80%)을 크게 앞서며, 고해상도 특징 융합과 다중라벨 학습을 통해 정확도 향상을 입증한다.

ABSTRACT

The low resolution of objects of interest in aerial images makes pedestrian detection and action detection extremely challenging tasks. Furthermore, using deep convolutional neural networks to process large images can be demanding in terms of computational requirements. In order to alleviate these challenges, we propose a two-step, yes and no question answering framework to find specific individuals doing one or multiple specific actions in aerial images. First, a deep object detector, Single Shot Multibox Detector (SSD), is used to generate object proposals from small aerial images. Second, another deep network, is used to learn a latent common sub-space which associates the high resolution aerial imagery and the pedestrian action labels that are provided by the human-based sources

연구 동기 및 목표

• 공중 영상에서 객체가 종종 몇 픽셀 밖에 되지 않는 저해상도 보행자 검출 문제를 해결하기 위해.
• 저해상도 입력 대신 고해상도 객체 제안을 활용하여 공중 영상에서의 다중라벨 보행자 행동 검출 성능을 향상시키기 위해.
• 이미지 특징을 고해상도 객체 제안에서 추출하고 다중행동 레이블 정보와 융합하여 검출 정확도를 향상시키는 프레임워크를 개발하기 위해.
• SSD와 같은 단일단계 검출기의 한계를 극복하기 위해, 특히 공중 시야에서 소형 객체 및 다중라벨 행동 인식에 어려움을 겪는 문제를 해결하기 위해.

제안 방법

• 먼저, 작은 공중 영상(300x300 또는 512x512)에서 SSD512를 사용하여 객체 제안을 생성하고 잠재적 보행자에 대한 바운딩 박스를 생성한다.
• 이 제안에 해당하는 고해상도 패치를 원본의 전체 해상도 공중 영상에서 추출하여 세밀한 세부 정보를 유지한다.
• 고해상도 객체 제안에서 깊은 특징을 추출하기 위해 VGG 기반의 합성곱 네트워크를 사용한다.
• 이미지 특징과 다중행동 레이블 임베딩 간에 공유 잠재 공간을 학습하여 공동 표현 학습을 가능하게 한다.
• 검출된 보행자가 특정 행동(또는 다중 행동)을 수행하고 있는지 여부를 판단하기 위해 예/아니요 질문-답변 기반 메커니즘을 사용한다.
• 행동 간 공유된 의미 정보를 활용하기 위해 다중라벨 학습을 적용하여 일반화 능력과 검출 성능 향상을 도모한다.

실험 결과

연구 질문

• RQ1 단일단계 검출기 대비 이단계 프레임워크가 저해상도 공중 영상에서의 다중라벨 보행자 행동 검출 성능을 향상시키는가?
• RQ2 원본 영상에서 추출한 고해상도 객체 제안을 사용하면 소형 객체임에도 불구하고 행동 인식 정확도가 향상되는가?
• RQ3 이미지 특징과 다중행동 레이블 간의 공유 잠재 공간 학습이 검출 성능 향상에 어느 정도 기여하는가?
• RQ4 다중라벨 학습은 공중 보행자 행동 검출 성능 향상에 어떻게 기여하는가?

주요 결과

• 제안된 이단계 프레임워크는 Okutama-Action 데이터셋에서 다중라벨 보행자 행동 검출에 대해 28.30% mAP를 달성하였으며, SSD512(15.39%)와 SSD960(18.80%)를 크게 앞서는 성능을 보였다.
• 원본 영상에서 추출한 고해상도 객체 제안을 사용함으로써, 초기 검출기(SSD)가 작은 영상에서 작동하더라도 저해상도 입력을 처리하는 것보다 검출 정확도가 향상됨을 확인하였다.
• 잠재 공간 내에서 다중라벨 학습을 적용함으로써, 행동 간 공유된 의미 패턴을 활용하여 일반화 능력과 성능 향상이 가능해졌다.
• SSD512는 보행자 검출 자체에 대해 75.3% mAP@0.35를 기록하여 강력한 기준 성능을 보였지만, 이에 비해 이단계 프레임워크는 행동 검출 성능을 10~15%p 향상시켰다.
• 두 번째 단계에서 해상도를 유지함으로써 공중 영상에서의 소형 객체 크기 문제를 효과적으로 완화하여 해상도 저하가 행동 인식에 미치는 영향을 줄였다.
• 결과적으로 고해상도 이미지 특징과 다중행동 레이블 임베딩을 융합하는 것이 단순히 저해상도 검출 헤드에 의존하는 것보다 더 정확하고 강력한 검출 성능을 제공하는 것으로 입증되었다.