[논문 리뷰] Relation Distillation Networks for Video Object Detection

Jiajun Deng, Yingwei Pan외 4명|arXiv (Cornell University)|2019. 08. 26.

Advanced Neural Network Applications참고 문헌 53인용 수 29

한 줄 요약

이 논문은 관계 정련 네트워크(RDN)를 제안하며, 이는 시간적·공간적 추론 프레임워크로서 프레임 간의 객체 관계를 점진적으로 정련함으로써 영상 객체 검출 성능을 향상시킨다. 다단계 추론을 통해 먼저 모든 지원 제안 영역에서 관계를 집계하고, 이후 고객체성 제안 영역을 정밀 조정한 후 기준 프레임으로 정련함으로써, 후처리를 거친 후 ImageNet VID에서 84.7%의 최고 수준 mAP를 달성하며 검출 정확도와 튜브릿 연결 성능을 크게 향상시킨다.

ABSTRACT

It has been well recognized that modeling object-to-object relations would be helpful for object detection. Nevertheless, the problem is not trivial especially when exploring the interactions between objects to boost video object detectors. The difficulty originates from the aspect that reliable object relations in a video should depend on not only the objects in the present frame but also all the supportive objects extracted over a long range span of the video. In this paper, we introduce a new design to capture the interactions across the objects in spatio-temporal context. Specifically, we present Relation Distillation Networks (RDN) --- a new architecture that novelly aggregates and propagates object relation to augment object features for detection. Technically, object proposals are first generated via Region Proposal Networks (RPN). RDN then, on one hand, models object relation via multi-stage reasoning, and on the other, progressively distills relation through refining supportive object proposals with high objectness scores in a cascaded manner. The learnt relation verifies the efficacy on both improving object detection in each frame and box linking across frames. Extensive experiments are conducted on ImageNet VID dataset, and superior results are reported when comparing to state-of-the-art methods. More remarkably, our RDN achieves 81.8% and 83.2% mAP with ResNet-101 and ResNeXt-101, respectively. When further equipped with linking and rescoring, we obtain to-date the best reported mAP of 83.8% and 84.7%.

연구 동기 및 목표

• 영상에서 신뢰할 수 있고 장거리 객체 관계를 모델링하는 데 도전하는 것. 이는 검출 성능 향상에 필수적이지만, 계산 비용과 노이즈가 많은 제안 영역으로 인해 어려운 과제이다.
• 지원 프레임에서 고객체성 제안 영역에 집중함으로써 계산 부담을 줄이고 관계 학습의 안정성을 향상시키는 것.
• 점진적인 정련과 정렬을 통해 객체 관계를 다단계로 정련함으로써 프레임 간 검출 성능과 상자 연결 성능을 향상시키는 것.
• 영상 객체 검출에 적용 가능한 확장 가능한 영역 기반 아키텍처를 설계하여 시간적·공간적 일관성을 효과적으로 활용하는 것.

제안 방법

• RDN은 기준 프레임과 지원 프레임에서 객체 제안 영역을 추출하기 위해 영역 제안 네트워크(RPN)를 사용하며, 이를 바탕으로 지원 제안 영역 풀을 구성한다.
• 기본 단계에서는 제안 영역 풀에 포함된 모든 지원 제안 영역의 외관 및 기하학적 특징을 집계하여 각 기준 제안 영역에 대한 관계 특징을 계산한다.
• 고급 단계에서는 지원 풀에서 고객체성 제안 영역을 먼저 선택하고, 모든 지원 제안 영역과의 관계를 강화한 후 이를 기준 프레임 특징을 정밀 조정하는 데 사용한다.
• 이 방법은 이중 단계 추론 구조를 사용한다: 기본 단계에서는 일阶 관계를, 고급 단계에서는 정교화된 순서를 거쳐 고계 관계를 처리한다.
• 관계 특징은 다른 객체의 외관 및 기하학적 임bedding의 가중합으로 계산되며, 가중치는 어텐션 메커니즘을 통해 학습된다.
• 최종 특징은 정련된 관계로 강화되어 제안 영역 분류 및 회귀에 사용되며, 이는 검출 성능과 튜브릿 연결 성능 향상에 기여한다.

실험 결과

연구 질문

• RQ1 장거리 영상 프레임 간의 객체 관계를 계산 비용이 과도하게 증가하지 않도록 효과적으로 모델링할 수 있는가?
• RQ2 고신뢰도 제안 영역에서의 다단계, 점진적 정련이 검출 정확도와 안정성 향상에 기여하는가?
• RQ3 다단계 추론과 지원 제안 영역의 선택적 정밀 조정이 영상 객체 검출에서 시간적·공간적 특징 학습을 얼마나 향상시키는가?
• RQ4 관계 정련 통합이 프레임 간 검출과 프레임 간 상자 연결 성능을 모두 향상시키는가?

주요 결과

• RDN은 ResNet-101를 사용할 경우 81.8%의 mAP, ResNeXt-101를 사용할 경우 83.2%의 mAP를 기록하며 이전 최고 성능 기준을 초월한다.
• 상자 연결 및 재평가를 위한 후처리를 적용한 후, RDN은 ImageNet VID에서 보고된 바 가장 높은 mAP 84.7%를 달성한다.
• 기본 단계만을 사용할 경우 대비 고급 단계에서 mAP가 0.5–1.0% 향상되어 다단계 정밀 조정의 효과를 입증한다.
• 고급 단계에서 최적의 샘플링 비율은 20%이며, 이는 성능과 추론 속도를 균형 있게 유지하며 높은 비율에서 정확도 저하가 최소한이 된다.
• 시간적 범위(T)를 3에서 18로 늘일 경우 mAP가 80.3%에서 81.8%로 향상되나, T=18를 초과하면 수익 감소 효과가 나타난다.
• T가 3에서 24로 증가함에 따라 추론 시간은 90.1ms에서 103.1ms로 다소 증가하나, 높은 효율을 유지한다.