[논문 리뷰] Progressive Sparse Local Attention for Video object detection

Chaoxu Guo, Bin Fan외 5명|arXiv (Cornell University)|2019. 03. 21.

Advanced Neural Network Applications참고 문헌 42인용 수 25

한 줄 요약

이 논문은 점차 더 흐린 국소 주의를 통해 프레임 간 공간적 대응 관계를 수립하는 새로운 모듈인 프로그레시브 스퍼스 로컬 주의(PSLA)를 제안한다. 이는 광학 플로우에 의존하지 않도록 하여, 더 작은 모델과 수용 가능한 추론 속도로 ImageNet VID에서 최고의 정확도를 달성한다.

ABSTRACT

Transferring image-based object detectors to the domain of videos remains a challenging problem. Previous efforts mostly exploit optical flow to propagate features across frames, aiming to achieve a good trade-off between accuracy and efficiency. However, introducing an extra model to estimate optical flow can significantly increase the overall model size. The gap between optical flow and high-level features can also hinder it from establishing spatial correspondence accurately. Instead of relying on optical flow, this paper proposes a novel module called Progressive Sparse Local Attention (PSLA), which establishes the spatial correspondence between features across frames in a local region with progressively sparser stride and uses the correspondence to propagate features. Based on PSLA, Recursive Feature Updating (RFU) and Dense Feature Transforming (DenseFT) are proposed to model temporal appearance and enrich feature representation respectively in a novel video object detection framework. Experiments on ImageNet VID show that our method achieves the best accuracy compared to existing methods with smaller model size and acceptable runtime speed.

연구 동기 및 목표

• 시간 정보를 효과적으로 활용하여 이미지 기반 객체 검출기의 비디오로의 전이 과제를 해결한다.
• 광학 플로우 기반 특징 전파의 한계, 즉 높은 모델 비용과 고수준 특징과의 비일치를 극복한다.
• 외부 플로우 추정이 필요 없이 정확한 프레임 간 공간적 대응 관계를 수립하는 경량이며 엔드 투 엔드 학습 가능한 모듈을 개발한다.
• 재귀적 특징 업데이트와 조밀한 특징 변환을 통해 비디오 내 특징 표현과 검출 정확도를 향상시킨다.

제안 방법

• 프레임 간 특징 정렬을 위해 점차 더 넓은 수용장치를 가지며 점차 더 흐린 스트라이드를 사용하는 프로그레시브 스퍼스 로컬 주의(PSLA)를 제안한다.
• 전체 주의 계산을 피하기 위해 흐린 영역 내 국소 주의를 사용하여 프레임 간 특징 대응 관계를 효율적으로 계산한다.
• 재귀적 특징 업데이트(RFU)를 통해 시간적 특징 정제를 수행하는 새로운 비디오 객체 검출 프레임워크에 PSLA를 통합한다.
• 다중 시간적 및 공간적 스케일에서 특징을 집계함으로써 특징 표현을 풍부하게 하는 조밀한 특징 변환(DenseFT)을 적용한다.
• 사전 학습된 광학 플로우 모델이 필요 없이 전체 네트워크를 엔드 투 엔드로 학습시킨다.
• 정확도와 추론 속도 사이의 균형을 고려하여 계산적으로 효율적인 아키텍처를 설계한다.

실험 결과

연구 질문

• RQ1 광학 플로우에 의존하지 않고도 비디오 객체 검출에서 정확한 프레임 간 특징 정렬을 달성할 수 있는가?
• RQ2 밀도 또는 플로우 기반 방법과 비교해 프로그레시브 스퍼스 로컬 주의는 특징 전파를 어떻게 향상시키는가?
• RQ3 재귀적 특징 업데이트와 조밀한 특징 변환은 검출 정확도와 특징 표현에 어떤 영향을 미치는가?
• RQ4 플로우 없는 경량 모듈이 더 작은 모델 크기로 최고의 성능을 달성할 수 있는가?
• RQ5 기존의 플로우 기반 및 비플로우 기반 비디오 검출 접근법과 비교해 제안된 방법은 정확도와 효율성 면에서 어떻게 다른가?

주요 결과

• 제안된 방법은 ImageNet VID 벤치마크에서 최고의 정확도를 달성하여 기존 방법들을 능가한다.
• 이전 최고 성능 방법들보다 더 작은 파라미터 수로도 이 정확도를 달성한다.
• 추론 속도는 수용 가능한 수준을 유지하여 정확도와 효율성 사이의 유리한 트레이드오프를 보여준다.
• 제거 실험을 통해 PSLA와 제안된 특징 정제 모듈이 성능 향상에 기여한다는 것이 확인된다.
• 특징에서 직접 공간적 대응 관계를 학습함으로써 광학 플로우와 고수준 특징 간의 도메인 갭을 줄였다.