[논문 리뷰] Differentiating Objects by Motion: Joint Detection and Tracking of Small Flying Objects

Ryota Yoshihashi, Tu Tuan Trinh외 4명|arXiv (Cornell University)|2017. 09. 14.

Robotics and Sensor-Based Localization참고 문헌 48인용 수 27

한 줄 요약

이 논문은 소형 비행 물체의 시각적 특징이 뚜렷하지 않은 경우에 다중 프레임 운동 특징을 ConvLSTM를 통해 활용하여 검출 성능을 향상시키는 연속 상관망(RCN)을 제안한다. 검출과 추적 간의 표현 공유를 통해 RCN는 새 및 UAV 데이터셋에서 최신 기술 수준의 성능을 달성하며, 단일 프레임 검출기 및 기존의 운동 기반 방법보다 평균 4.3%p 향상된 성능을 보였다.

ABSTRACT

While generic object detection has achieved large improvements with rich feature hierarchies from deep nets, detecting small objects with poor visual cues remains challenging. Motion cues from multiple frames may be more informative for detecting such hard-to-distinguish objects in each frame. However, how to encode discriminative motion patterns, such as deformations and pose changes that characterize objects, has remained an open question. To learn them and thereby realize small object detection, we present a neural model called the Recurrent Correlational Network, where detection and tracking are jointly performed over a multi-frame representation learned through a single, trainable, and end-to-end network. A convolutional long short-term memory network is utilized for learning informative appearance change for detection, while learned representation is shared in tracking for enhancing its performance. In experiments with datasets containing images of scenes with small flying objects, such as birds and unmanned aerial vehicles, the proposed method yielded consistent improvements in detection performance over deep single-frame detectors and existing motion-based detectors. Furthermore, our network performs as well as state-of-the-art generic object trackers when it was evaluated as a tracker on the bird dataset.

연구 동기 및 목표

• 감시 및 UAV 영상에서 시각적 특징이 약한 소형 비행 물체를 검출하는 데 도전하는 것.
• 특히 날개 퍼짐과 같은 변형 패턴을 학습하여 정적 외관을 초월해 검출 성능을 향상시키는 방법을 탐색하는 것.
• 검출과 추적을 하나의 엔드 투 엔드 학습 가능한 네트워크로 통합하여 공유된 운동 기반 표현을 통해 두 작업의 성능을 향상시키는 것.
• 반복적인 운동 모델링을 통한 통합 학습이 단일 프레임 또는 비반복적 다중 프레임 기반 방법보다 더 뛰어난 검출 성능을 낳는지 입증하는 것.

제안 방법

• 프레임 간의 시간 동적 특징(예: 날개 퍼짐, 물체 변형)을 포착하기 위해 비디오 시퀀스에서 다중 프레임 표현을 학습하는 데 ConvLSTM 기반 인코더를 사용한다.
• 공유된 표현을 기반으로 첫 번째 프레임의 템플릿을 이후 프레임의 검색 창과 매칭하여 객체를 국소화하는 데 교차 상관층을 활용한다.
• 검출기의 출력이 공유된 특징을 통해 추적기를 안정화하고 이끌어내는 방식으로, 검출과 추적을 하나의 엔드 투 엔드 아키텍처에 통합한다.
• 검출과 추적 간의 공유된 특징 표현은 파rameter 수를 감소시키고 시간적 일관성을 활용함으로써 일반화 성능을 향상시킨다.
• 표준 검출 및 추적 손실 함수를 사용하여 바운딩 박스 애너테이션을 포함한 비디오 데이터셋에서 완전히 지도 학습 방식으로 모델을 훈련시킨다.
• 초기화값 탐색 실험을 통해 커널 크기, ConvGRU 대비 ConvLSTM 사용 여부, 추적 또는 반복 구성 요소 제거 시 영향을 평가한다.

실험 결과

연구 질문

• RQ1 다중 비디오 프레임의 운동 특징이 시각적으로 뚜렷하지 않은 소형 비행 물체의 검출 성능을 크게 향상시킬 수 있는가?
• RQ2 공유된 표현을 통한 검출과 추적의 통합은 별도 또는 단일 프레임 접근 방식에 비해 성능을 어떻게 향상시키는가?
• RQ3 ConvLSTM와 같은 반복 네트워크가 날개 퍼짐과 같은 구분 가능한 운동 패턴을 얼마나 잘 학습하여 소형 물체 검출에 기여하는가?
• RQ4 ConvLSTM를 통한 운동 모델링이 수작업으로 만든 운동 특징이나 점수 평균화 방식보다 더 나은 일반화 성능을 낳는가?
• RQ5 도메인 특화 데이터셋에서 평가했을 때, 통합 검출 및 추적 프레임워크가 최신 기술 수준의 일반 추적기보다 성능이 뛰어나게 되는가?

주요 결과

• 새 데이터셋에서 RCN는 로그 평균 미스율(log-average miss rate) 0.268을 달성하여 단일 프레임 기반 모델(0.332)보다 7.6%p 향상되었으며, 특히 반복 구성 요소를 제거했을 때 가장 큰 성능 향상을 보였다.
• ConvLSTM 사용과 통합 추적으로 인해 단일 프레임 기반 모델 대비 4.3%p의 미스율 감소를 기록하여 운동 모델링의 효과를 입증했다.
• 최적의 ConvLSTM 커널 크기는 k=3이었으며, 더 크거나 작을 경우 성능이 약간 저하되어 각각 0.010 및 0.011의 미스율 증가를 보였다.
• ConvLSTM를 ConvGRU로 대체했을 때 성능은 약간 감소(+0.003 미스율 증가)했으며, 이는 이 작업에 대해 전체 LSTM 메커니즘이 더 효과적임을 시사한다.
• 반복 구성 요소나 통합 추적 기능을 제거했을 경우 성능 저하가 심각하게 발생했으며, 각각 0.076 및 0.053의 미스율 증가를 보였다. 이는 시간 모델링과 공유 표현의 중요성을 확인한다.
• 새 데이터셋에서 추적기로 평가했을 때, RCN는 수작업 특징 기반 추적기(GOTURN 등)와 딥 기반 일반 추적기(SiamFC 등)를 모두 압도하여 추적 성능에서 뛰어난 일반화 능력을 보였다.