[논문 리뷰] ClickBAIT: Click-based Accelerated Incremental Training of Convolutional Neural Networks

Ervin Teng, João Diogo Falcão외 1명|arXiv (Cornell University)|2017. 09. 15.

Advanced Neural Network Applications참고 문헌 12인용 수 6

한 줄 요약

이 논문은 소형 무인 항공기 시스템(UAS)에서 실시간 객체 탐지용 합성곱 신경망(CNN)의 시간순서 온라인 학습(ToOT)을 가속화하는 ClickBAIT 시스템을 소개한다. 국소적 학습과 광학 흐름 기반 객체 추적을 융합함으로써, 표준 한 프레임에 한 번의 태그를 적용하는 방법에 비해 학습 효익을 최대 8배 향상시켜, 라이브 영상 스트림에서의 점진적 학습 동안 인간 사용자 상호작용을 크게 감소시킨다.

ABSTRACT

Today's general-purpose deep convolutional neural networks (CNN) for image classification and object detection are trained offline on large static datasets. Some applications, however, will require training in real-time on live video streams with a human-in-the-loop. We refer to this class of problem as Time-ordered Online Training (ToOT) - these problems will require a consideration of not only the quantity of incoming training data, but the human effort required to tag and use it. In this paper, we define training benefit as a metric to measure the effectiveness of a sequence in using each user interaction. We demonstrate and evaluate a system tailored to performing ToOT in the field, capable of training an image classifier on a live video stream through minimal input from a human operator. We show that by exploiting the time-ordered nature of the video stream through optical flow-based object tracking, we can increase the effectiveness of human actions by about 8 times.

연구 동기 및 목표

• 실시간 라이브 영상 스트림에서 인간 입력을 최소화하면서도, 특히 동적인 또는 알 수 없는 목표물에 대해 CNN을 학습하는 데 도전하는 문제를 해결하기 위해.
• 각 인간 상호작용의 효과성을 평가하기 위한 메트릭으로서 '학습 효익'을 정의하고 정량화하기 위해.
• 소형 UAS에서의 인간 레이블링 영상 스트림을 활용해 차량 내에서 점진적 학습이 가능한 시스템을 설계하고 구현하기 위해.
• 영상 스트림의 시간적 일관성—광학 흐름 추적을 통해—이 반복적인 레이블링을 줄이고 학습 효율을 향상시키는 데 기여할 수 있는지 탐색하기 위해.
• 국소적 학습과 광학 흐름 추적을 조합할 경우, 사용자 상호작용당 점진적 학습 효익이 크게 증가함을 보여주기 위해.

제안 방법

• 시스템은 연속된 영상 프레임 간의 객체를 추적하기 위해 광학 흐름을 사용하여 시간에 걸쳐 일관된 바운딩 박스 레이블링을 가능하게 하며, 반복적인 사용자 입력을 줄인다.
• 추적된 객체 주변의 관심 영역(ROI)에 대해서만 CNN을 학습시는 국소적 학습을 구현함으로써 샘플 효율성을 향상시킨다.
• 사용자 상호작용은 양성 또는 음성 예제를 레이블링하기 위한 '클릭'으로 모델링되며, 각 클릭이 모델의 가중치를 점진적으로 업데이트하도록 유도한다.
• 학습 전략은 일괄 처리 크기가 2와 8인 경우에 한 프레임당 한 번의 클릭을 기반으로 한 반온라인 학습과 국소적 학습, 광학 흐름 향상 학습을 비교한다.
• 효과성을 평가하기 위해 사용자 상호작용당 점진적 학습 효익(ITB)을 계산하며, 주요 성능 메트릭으로 평균 ITB를 사용한다.
• 임베디드 하드웨어(예: NVIDIA Jetson)에 맞는 맞춤형 학습 파이프라인을 구현하여 실시간 추론과 라이브 영상 처리 중 점진적 업데이트를 가능하게 한다.

실험 결과

연구 질문

• RQ1 영상 스트림의 시간순서적 특성을 어떻게 활용하여 실시간 객체 탐지용 CNN 학습에서 인간의 노력과 상호작용을 줄일 수 있는가?
• RQ2 광학 흐름 기반 객체 추적은 사용자 상호작용당 점진적 학습 효익에 어떤 영향을 미치는가?
• RQ3 전체 프레임 학습 대비 국소적 학습은 학습 효익과 수렴 속도 측면에서 어떻게 비교되는가?
• RQ4 온라인 점진적 학습 환경에서 배치 크기를 줄이면 학습 효익은 어느 정도 향상되는가?
• RQ5 시간적 일관성이 있는 영상 데이터를 활용함으로써 인간-기계 협업 시스템이 훨씬 적은 사용자 상호작용으로도 높은 모델 정확도를 달성할 수 있는가?

주요 결과

• 배치 크기가 2인 경우, ClickBAIT는 반온라인 학습 대비 평균 점진적 학습 효익(ITB)을 최대 8배 향상시켰다.
• PersonFinder 시나리오에서 국소적 학습과 광학 흐름의 조합으로 사용자 상호작용 수가 85% 감소(37회에서 30회로)하였다.
• PersonFinder 시나리오에서 평균 ITB는 반온라인 학습 시 1.08×10⁻³에서 광학 흐름과 배치 크기 2를 사용할 경우 7.61×10⁻³으로 증가하였다.
• 시스템은 초기 학습 예제의 ITB가 낮은 편임을 보여주었으며, 배경이 흐린 이미지는 후속에 더 구분력 있는 프레임에 비해 정보량이 적다는 것을 시사한다.
• PersonFinder 시나리오에서 배치 크기를 8에서 2로 줄이면 평균 ITB가 100% 증가하였으며, 이는 광학 흐름과 함께 작은 배치 크기가 학습 효율을 향상시킨다는 것을 시사한다.
• 광학 흐름 추적은 목표 정확도(Af = 0.671)에 도달하기 위해 필요한 사용자 상호작용 수를 크게 줄였으며, 기준 방법 대비 5~8배 높은 학습 효익을 달성했다.