[논문 리뷰] Analysing domain shift factors between videos and images for object detection

Vicky Kalogeiton, Vittorio Ferrari외 1명|arXiv (Cornell University)|2015. 01. 06.

Advanced Neural Network Applications참고 문헌 30인용 수 4

한 줄 요약

이 논문은 객체 검출을 위한 스틸 이미지와 비디오 프레임 간 도메인 시프트 요인을 체계적으로 분석하며, 공간적 위치 정확도, 외관 다양성, 이미지 품질, 앵글 분포가 성능 격차의 주요 기여 요인임을 규명한다. 이러한 요인들을 점진적으로 동일하게 조정함으로써 저자들은 이미지 및 비디오로 훈련된 검출기 간 mAP 격차를 1.5% 이하로 줄였으며, 이미지 품질과 앵글 분포가 도메인 간 일반화에 특히 중요한 요소임을 입증한다.

ABSTRACT

Object detection is one of the most important challenges in computer vision. Object detectors are usually trained on bounding-boxes from still images. Recently, video has been used as an alternative source of data. Yet, for a given test domain (image or video), the performance of the detector depends on the domain it was trained on. In this paper, we examine the reasons behind this performance gap. We define and evaluate different domain shift factors: spatial location accuracy, appearance diversity, image quality and aspect distribution. We examine the impact of these factors by comparing performance before and after factoring them out. The results show that all four factors affect the performance of the detectors and their combined effect explains nearly the whole performance gap.

연구 동기 및 목표

• 이미지와 비디오로 훈련된 객체 검출기 간 성능 격차를 유발하는 도메인 시프트 요인을 규명하고 정량화하는 것.
• 공간적 정확도, 외관 다양성, 이미지 품질, 앵글 분포와 같은 각 요인이 검출기 성능에 미치는 영향을 평가하는 것.
• 이러한 요인들을 동일하게 조정함으로써 이미지 및 비디오로 훈련된 검출기 간 성능 격차를 줄일 수 있는지 확인하는 것.
• 약한 감독 기반 비디오 훈련을 위한 향후 연구를 이끌기 위해, 어떤 요인이 검출기 일반화에 가장 큰 장애를 주는지 밝히는 것.

제안 방법

• 저자들은 두 개의 데이터셋 쌍을 분석한다: PASCAL VOC 07 (이미지)와 YouTube-Objects (비디오), 그리고 ILSVRC 2015 이미지 및 비디오 트랙.
• 공간적 위치 정확도, 외관 다양성, 이미지 품질(기울기 에너지 및 블러 측정), 앵글 분포(KL 발산 측정)를 정의하고 도메인 시프트 요인을 고립한다.
• 각 요인에 대해 훈련 세트를 유사하게 만들기 위한 균형 조정 절차를 적용한다. 예를 들어, 고유 샘플 수를 일치시키고, 비디오 블러 수준에 맞추어 가우시안 블러를 적용하며, 앵글 분포를 재가중한다.
• R-CNN 검출기를 원본 및 균형 조정된 훈련 세트로 훈련한 후, 이미지 및 비디오 테스트 세트에서 mAP 성능을 측정한다.
• 각 균형 조정 단계 이전 및 이후의 성능 격차를 측정하여 각 요소의 기여도를 분리한다.
• 요소를 하나씩 제거하는 구조적 프rotocol를 사용하여 성능 격차의 점진적 감소를 관찰한다.

실험 결과

연구 질문

• RQ1 이미지와 비디오로 훈련된 객체 검출기 간 성능 격차를 유발하는 특정 도메인 시프트 요인은 무엇인가?
• RQ2 외관 다양성, 이미지 품질, 앵글 분포, 공간적 정확도와 같은 각 요소가 성능 격차에 얼마나 기여하는가?
• RQ3 이러한 도메인 시프트 요인들을 균형 조정하면 이미지 및 비디오로 훈련된 검출기 간 성능 격차를 크게 줄이거나 제거할 수 있는가?
• RQ4 어느 요소가 도메인 간 일반화에 가장 큰 영향을 미치는가?

주요 결과

• 네 가지 도메인 시프트 요인의 병합 효과가 이미지 및 비디오로 훈련된 검출기 간 거의 전반적인 성능 격차를 설명한다.
• 이미지 품질은 강력한 영향을 미친다: 블러 수준을 동일하게 조정하면 격차가 크게 줄어들며, 특히 비디오 프레임이 이미지보다 더 흐릿한 경우에 두드러진다.
• 외관 다양성은 훈련 데이터가 풍부할 경우 영향이 작다: 고유 샘플의 40%를 제거한 후에도 이미지에서 성능은 여전히 높다.
• 앵글 분포는 중대한 영향을 미친다: 앵글 분포를 균형 조정하면 두 테스트 도메인에서 성능 격차의 대부분을 해소할 수 있다.
• 네 가지 요인을 모두 균형 조정한 후, 이미지 및 비디오로 훈련된 검출기 간 최종 mAP 격차는 두 테스트 세트에서 모두 1.5% 이하이다.
• 본 연구는 단순히 훈련 샘플 수를 늘리는 것보다, 블러 제거 알고리즘과 더 넓은 앵글 커버리지가 비디오 데이터에 포함될 경우 더 효과적임을 보여준다.