[논문 리뷰] EDF: Ensemble, Distill, and Fuse for Easy Video Labeling

Giulio Zhou, Subramanya R. Dulloor외 2명|arXiv (Cornell University)|2018. 12. 10.

Advanced Neural Network Applications참고 문헌 3인용 수 7

한 줄 요약

이 논문은 최소한의 인간 레이블링을 사용하여 고정밀 영상 객체 검출을 생성하기 위해 앙상블 객체 검출과 지식 정복을 결합한 EDF 방법을 제안한다. 여러 사전 훈련된 검출기의 예측을 융합하고, 데이터 증강을 통해 개선된 앙상블 출력에 기반해 소형 학생 네트워크를 훈련시킴으로써, 개별 검출기나 앙상블 자체보다도 높은 mAP를 달성하며, KITTI 및 DETRAC 데이터셋에서 최신 기술을 초월한다.

ABSTRACT

We present a way to rapidly bootstrap object detection on unseen videos using minimal human annotations. We accomplish this by combining two complementary sources of knowledge (one generic and the other specific) using bounding box merging and model distillation. The first (generic) knowledge source is obtained from ensembling pre-trained object detectors using a novel bounding box merging and confidence reweighting scheme. We make the observation that model distillation with data augmentation can train a specialized detector that outperforms the noisy labels it was trained on, and train a Student Network on the ensemble detections that obtains higher mAP than the ensemble itself. The second (specialized) knowledge source comes from training a detector (which we call the Supervised Labeler) on a labeled subset of the video to generate detections on the unlabeled portion. We demonstrate on two popular vehicular datasets that these techniques work to emit bounding boxes for all vehicles in the frame with higher mean average precision (mAP) than any of the reference networks used, and that the combination of ensembled and human-labeled data produces object detections that outperform either alone.

연구 동기 및 목표

• 최소한의 인간 레이블링 프레임을 활용하여 영상 객체 레이블링의 비용과 노력을 줄이기 위해.
• 사전 훈련된 검출기와 소량의 레이블링 데이터만을 사용하여 새로운 영상에서의 검출 성능을 향상시키기 위해.
• 지식 정복을 통해 개별 검출기와 그 앙상블보다도 뛰어난 성능을 내는 방법을 개발하기 위해.
• 일반적인(앙상블) 및 특정한(레이블링된) 지식 소스를 융합할 경우 영상에서의 검출 정확도가 어떻게 향상되는지 탐색하기 위해.

제안 방법

• 다양한 사전 훈련된 검출기들을 새로운 경계상자 융합 및 신뢰도 재가중 기법을 통해 앙상블하여 더 신뢰할 수 있는 검출 결과를 도출하기 위해.
• 모델 정복을 적용하여 앙상블의 예측에 기반해 소형 학생 네트워크를 훈련시키며, 일반화 성능 향상을 위해 데이터 증강을 활용하기 위해.
• 소량의 인간 레이블링 프레임에 대해 감독 레이블러를 훈련시어, 레이블링되지 않은 영상 부분에 대한 검출 결과를 생성하기 위해.
• 앙상블과 감독 레이블러의 출력을 융합하여 검출 신뢰도와 정렬 정확도를 향상시키기 위해.
• 객체 추적을 통해 프레임 간의 신뢰도와 정렬 정확도를 안정화시켜 시간적 일관성 없는 현상을 줄이기 위해.
• 효율적인 추론을 위해 특징 피라미드 네트워크(FPN)와 단일 단계 검출기(예: MobileNet-SSD FPN)를 활용하기 위해.

실험 결과

연구 질문

• RQ1 경계상자 융합 및 신뢰도 재가중을 통해 앙상블된 사전 훈련된 검출기들이 개별 검출기보다 더 안정적인 검출 결과를 도출할 수 있는가?
• RQ2 앙상블에서의 지식 정복이 앙상블 자체의 정확도를 초월해 검출 성능을 향상시킬 수 있는가?
• RQ3 소량의 인간 레이블링 프레임과 앙상블에서의 정복을 융합할 경우 검출 mAP는 어떻게 향상되는가?
• RQ4 객체 추적은 영상에서 검출 신뢰도의 시간적 일관성을 어느 정도 향상시킬 수 있는가?
• RQ5 잡음이 포함된 앙상블 레이블에 기반해 훈련된 학생 네트워크가 앙상블 자체보다도 성능이 뛰어날 수 있는가?

주요 결과

• DETRAC 데이터셋에서 EDF 방법은 앙상블 내에서 가장 뛰어난 성능을 보인 검출기보다 1.25배 높은 mAP를 달성했다.
• KITTI 데이터셋에서 EDF는 가장 뛰어난 앙상블 구성원보다 1.21배 높은 mAP를 달성했다.
• 잡음이 포함된 앙상블 레이블에 기반해 훈련된 학생 네트워크가 앙상블 자체보다도 뛰어난 성능을 보였다.
• 앙상블과 인간 레이블링 데이터의 조합은 각각의 소스보다 더 높은 정확도의 검출 결과를 도출했다.
• 객체 추적은 시각적 변화가 있음에도 불구하고 검출 신뢰도의 시간적 변동성을 줄여 안정화시켰다.
• 앙상블에 약한 검출기를 사용할 경우에도 이 방법이 효과를 유지함으로써, 개별 검출기의 편향에 대해 강건함을 보였다.