[논문 리뷰] Object Detection in Video with Spatial-temporal Context Aggregation

Hao Luo, Lichao Huang외 4명|arXiv (Cornell University)|2019. 07. 11.

Advanced Image and Video Retrieval Techniques참고 문헌 32인용 수 9

한 줄 요약

이 논문은 자기주의 어텐션을 사용하여 프레임 간 제안 간의 의미적 및 시공간적 관계를 모델링함으로써 제안 수준의 시공간적 맥락 집합(StCA) 프레임워크를 제안한다. 시간 후처리나 추가 애너테이션 없이 ImageNet VID에서 80.3% mAP을 달성하여 이전 최고 성능 기법보다 1.4% mAP 향상되었고, 단일 프레임 Faster R-CNN보다 5.8% mAP 향상되었다.

ABSTRACT

Recent cutting-edge feature aggregation paradigms for video object detection rely on inferring feature correspondence. The feature correspondence estimation problem is fundamentally difficult due to poor image quality, motion blur, etc, and the results of feature correspondence estimation are unstable. To avoid the problem, we propose a simple but effective feature aggregation framework which operates on the object proposal-level. It learns to enhance each proposal's feature via modeling semantic and spatio-temporal relationships among object proposals from both within a frame and across adjacent frames. Experiments are carried out on the ImageNet VID dataset. Without any bells and whistles, our method obtains 80.3\% mAP on the ImageNet VID dataset, which is superior over the previous state-of-the-arts. The proposed feature aggregation mechanism improves the single frame Faster RCNN baseline by 5.8% mAP. Besides, under the setting of no temporal post-processing, our method outperforms the previous state-of-the-art by 1.4% mAP.

연구 동기 및 목표

• 운동 블러, 가림, 낮은 영상 품질로 인한 영상 객체 검출에서 픽셀 수준의 특징 대응 추정의 불안정성 문제를 해결하기 위해.
• 픽셀 기반 특징 전파가 아니라 제안 간 시공간 맥락을 활용하여 검출 정확도를 향상시키기 위해.
• 수작업으로 만든 워핑이나 광학 흐름에 의존하지 않고도 내부 프레임 및 간섭 프레임 간의 맥락적 의존성을 포착할 수 있는 학습 가능한 종단 간 프레임워크를 개발하기 위해.
• Seq-NMS와 같은 시간 후처리 기법에 의존도를 줄이기 위해 학습 중에 시간적 일관성을 학습하기 위해.
• 광학 흐름이나 인스턴스 ID와 같은 추가 애너테이션을 요구하지 않고 최고 성능을 달성하기 위해.

제안 방법

• 이 방법은 RPN이 생성한 객체 제안을 대상으로 하며, 각 프레임의 제안에 대해 ROI-정렬 특징을 추출한다.
• 제안 수준의 특징 집합 단위는 콘텐츠 및 공간-시간 위치 임베딩을 기반으로 제안 특징 간의 의존성을 자기주의 어텐션을 통해 모델링한다.
• 공간적 및 시간적 위치 인코딩을 어텐션 메커니즘에 명시적으로 추가하여 제안 간 기하학적 및 시간적 관계를 유지한다.
• STCA 단위는 프레임 내 제안 간 및 인접 프레임 간 특징을 집합하여 검출을 위한 향상된 표현을 생성한다.
• 향상된 특징은 Faster R-CNN 헤드로 입력되며, 전체 네트워크는 어떤 후처리 없이 종단 간으로 학습된다.
• 픽셀 수준의 대응 추정을 피하기 때문에 운동 블러 및 영상 품질 악화에 대해 강건하다.

실험 결과

연구 질문

• RQ1 픽셀 수준의 특징 집합과 비교해 제안 수준의 시공간 맥락 집합이 영상 객체 검출 정확도 향상에 기여하는가?
• RQ2 수작업으로 만든 특징 워핑이나 광학 흐름 기반 校정보다 학습 가능한 제안 수준의 어텐션 메커니즘이 더 우수한가?
• RQ3 Seq-NMS와 같은 시간 후처리 기법에 의존하지 않고 모델이 시간적 일관성을 얼마나 잘 학습할 수 있는가?
• RQ4 광학 흐름이나 인스턴스 ID와 같은 추가 애너테이션이 없을 경우 제안된 방법의 성능은 어떠한가?
• RQ5 운동 블러 및 가림과 같은 도전적인 조건에서도 모델이 잘 일반화되는가?

주요 결과

• 제안된 방법은 ImageNet VID 데이터셋에서 이전 최고 성능 기준보다 1.4% mAP 높은 80.3% mAP를 달성하여 평가 프로토콜 동일 조건 하에서 최고 성능을 기록했다.
• 시간 후처리 없이도 STSN(78.9% mAP)보다 1.4% mAP 높은 성능을 기록하여 강력한 내재적 시간적 일관성 학습 능력을 입증했다.
• 단일 프레임 Faster R-CNN 베이스라인보다 5.8% mAP 향상되어 시공간 맥락 집합의 상당한 성능 향상 효과를 보였다.
• 광학 흐름이나 인스턴스 ID 애너테이션 없이도 80.6% mAP를 달성하여 이러한 애너테이션에 의존하는 최고 성능 기법을 초월했다.
• 시간 후처리(예: Seq-NMS)는 제안된 방법에 대해 단지 0.3% mAP의 성능 향상만 제공하여 학습 중에 이미 충분히 시간적 일관성이 학습되었음을 시사했다.
• 시각화 결과는 모델이 의미적으로 관련이 있고 공간적/시간적으로 거리가 먼 제안에 주목하는 것을 확인했으며, 다양한 조건에서 특징 품질 향상에 기여함을 입증했다.