[논문 리뷰] ClickBAIT-v2: Training an Object Detector in Real-Time

Ervin Teng, Rui Huang외 1명|arXiv (Cornell University)|2018. 03. 27.

Advanced Neural Network Applications참고 문헌 16인용 수 6

한 줄 요약

ClickBAIT-v2는 단일 클릭을 통해 상호작용식 분할을 이용해 바운딩 박스를 생성하고 객체 추적을 활용하여 인간의 주석 작업을 줄이며, 라이브 비디오 스트림에서 실시간으로 인간이 참여하는 방식으로 객체 검출기 학습을 가능하게 한다. 이 시스템은 프레임 단위 클릭 대비 사용자 상호작용당 학습 효율을 3–4배 향상시켜 드론과 같은 동적 환경에서 온라인 모델 적응을 실현 가능하게 한다.

ABSTRACT

Modern deep convolutional neural networks (CNNs) for image classification and object detection are often trained offline on large static datasets. Some applications, however, will require training in real-time on live video streams with a human-in-the-loop. We refer to this class of problem as time-ordered online training (ToOT). These problems will require a consideration of not only the quantity of incoming training data, but the human effort required to annotate and use it. We demonstrate and evaluate a system tailored to training an object detector on a live video stream with minimal input from a human operator. We show that we can obtain bounding box annotation from weakly-supervised single-point clicks through interactive segmentation. Furthermore, by exploiting the time-ordered nature of the video stream through object tracking, we can increase the average training benefit of human interactions by 3-4 times.

연구 동기 및 목표

• 라이브 비디오 스트림에서 최소한의 인간 주석으로 실시간으로 객체 검출기 학습하는 데 도전하는 데 목적을 두며.
• 수동으로 바운딩 박스를 그려넣는 대신 단일 클릭으로 대체함으로써 온라인 학습에서 인간의 노력을 줄이는 데 목적을 두며.
• 객체 추적을 통해 시간 연속성을 활용함으로써 각 사용자 상호작용의 효과를 향상시키는 데 목적을 두며.
• 시간 순서 정렬된 온라인 학습(ToOT) 시나리오에서 사용자 상호작용당 누적 학습 이점(Incremental Training Benefit, ITB)을 평가하는 데 목적을 두며.
• 예기치 못한 환경 변화에 직면한 드론과 같은 자율 시스템에서 지속적인 현장 모델 적응을 가능하게 하는 데 목적을 두며.

제안 방법

• 사용자가 비디오 프레임에서 대상 객체를 클릭하면, 이는 상호작용식 분할 모델의 입력이 되어 정밀한 객체 마스크를 생성한다.
• 분할된 마스크는 학습에 사용하기 위해 날카로운 바운딩 박스로 변환된다.
• 검출된 바운딩 박스를 사용해 객체 추적을 초기화하여 추가 사용자 입력 없이도 후속 프레임으로 주석을 전파한다.
• 시스템은 시간 순서 정렬된 비디오 시퀀스를 활용해 프레임 간 주석을 재사용함으로써 중복 사용자 상호작용을 줄인다.
• 각 사용자 상호작용이 모델 성능에 미치는 영향을 정량화하기 위해 증분 학습 이점(Incremental Training Benefit, ITB)을 지표로 사용한다.
• 추적 기능 유무에 따라 학습 효율을 비교하며, 다양한 시나리오에서 상호작용당 평균 ITB를 측정한다.

실험 결과

연구 질문

• RQ1 실시간 객체 검출에서 바운딩 박스 생성을 위한 단일 클릭 기반 주석 방식은 얼마나 효과적인가?
• RQ2 시간 순서 정렬된 온라인 학습에서 객체 추적은 각 사용자 상호작용의 학습 이점을 얼마나 증폭시키는가?
• RQ3 증분 학습 이점(ITB)은 프레임 간 어떻게 변할 수 있으며, 일부 프레임은 다른 프레임보다 더 가치가 있는가?
• RQ4 약한 감독 기반 클릭 입력과 추적을 조합하면 훨씬 적은 사용자 상호작용으로도 유사한 모델 성능을 달성할 수 있는가?
• RQ5 비디오 스트림의 시간적 구조는 단일 프레임 기반 주석보다 더 효율적인 온라인 학습을 가능하게 하는가?

주요 결과

• CarChaser 시나리오에서 객체 추적은 사용자 상호작용당 평균 증분 학습 이점(ITB)을 4.50배 향상시켰다.
• PersonFinder 시나리오에서는 객체 추적으로 인해 평균 ITB가 3.07배 향상되었으며, 필요한 사용자 상호작용 수가 197회에서 65회로 감소했다.
• 추적 기능이 활성화된 상태에서 CarChaser 시나리오의 최종 평균 정밀도(Pf)는 76.5%에 도달했고, PersonFinder 시나리오에서는 58.1%를 기록했으며, 사용자 상호작용 수는 크게 감소했다.
• 초기 학습 프레임, 특히 배경이 흐리거나 흐린 경우, 낮은 초기 ITB 값으로 인해 모델 향상에 기여도가 낮은 것으로 나타났다.
• 추적 기능이 있는 전략은 총 96회의 상호작용으로 이루어지며, 이는 추적 없이 진행할 경우 CarChaser 시나리오에서 435회의 상호작용이 필요했던 것과 비교해 더 희소하지만 더 영향력 있는 학습 라운드를 생성했다.
• 결과적으로 객체 추적을 통해 인간 입력의 효과를 3–4배로 증폭시킬 수 있음을 입증하였으며, 이는 자율 시스템에서 실시간 온라인 학습을 실현 가능하게 한다.