[논문 리뷰] Semi-Automated Annotation of Discrete States in Large Video Datasets

Lex Fridman, Bryan Reimer|arXiv (Cornell University)|2016. 12. 01.

Gaze Tracking and Assistive Technology인용 수 2

한 줄 요약

이 논문은 은닉 마르코프 모델(HMM)을 사용하여 객체 행동을 모델링하고 노이즈가 있는 이미지 기반 상태 관측치를 처리함으로써 대규모 영상 데이터셋에서 이산 상태를 반자동으로 주석 처리하는 프레임워크를 제시한다. 프레임 단위 레이블링에서 상태 전이 감지로 주석 작업의 초점을 전환함으로써, 1600만 프레임의 운전자 시선 데이터셋에서 99.1% 정확도일 경우 수작업 노력이 13배 감소하고, 91.2% 정확도일 경우 84배 감소한다.

ABSTRACT

We propose a framework for semi-automated annotation of video frames where the video is of an object that at any point in time can be labeled as being in one of a finite number of discrete states. A Hidden Markov Model (HMM) is used to model (1) the behavior of the underlying object and (2) the noisy observation of its state through an image processing algorithm. The key insight of this approach is that the annotation of frame-by-frame video can be reduced from a problem of labeling every single image to a problem of detecting a transition between states of the underlying objected being recording on video. The performance of the framework is evaluated on a driver gaze classification dataset composed of 16,000,000 images that were fully annotated over 6,000 hours of direct manual annotation labor. On this dataset, we achieve a 13x reduction in manual annotation for an average accuracy of 99.1% and a 84x reduction for an average accuracy of 91.2%.

연구 동기 및 목표

• 이산 객체 상태를 가진 대규모 데이터셋에서 수작업 영상 주석 처리의 높은 노동 비용을 줄이기 위해.
• 영상 시퀀스에서 노이즈가 있는 이미지 기반 상태 탐지 문제를 해결하기 위해.
• 높은 정확도를 유지하면서 인간 주석을 최소화하는 확장 가능한 프레임워크를 개발하기 위해.
• 실제 세계의 대규모 영상 데이터셋에 대해 광범위한 수작업 주석이 이루어진 상태에서 방법을 평가하기 위해.

제안 방법

• 은닉 마르코프 모델(HMM)을 사용하여 객체의 숨겨진 상태 전이와 이미지 처리 알고리즘으로부터 유도된 노이즈가 있는 관측치를 모델링한다.
• 프레임 단위 레이블링이 아닌 전이 감지 문제로 주석 작업을 간주함으로써 수작업 노력이 크게 감소한다.
• HMM 추론을 통해 노이즈가 있는 시각적 관측치로부터 가장 가능성 있는 숨겨진 상태의 순서를 추정함으로써 상태 전이를 식별한다.
• 영상의 시간적 구조를 활용하여 완벽하지 않은 이미지 처리에도 불구하고 상태 예측 정확도를 향상시킨다.
• HMM은 1600만 프레임과 6,000시간의 수작업 주석이 포함된 대규모 운전자 시선 데이터셋에서 훈련 및 검증된다.
• 메서드는 매 프레임이 아닌 상태 전이 시점에서만 인간의 입력이 필요한 반자동 주석을 가능하게 한다.

실험 결과

연구 질문

• RQ1 반자동 프레임워크는 이산 상태를 가진 대규모 영상 데이터셋에서 수작업 주석 처리의 노력을 줄일 수 있는가?
• RQ2 HMM은 영상에서 노이즈가 있는 시각적 관측치와 숨겨진 상태 전이를 얼마나 효과적으로 모델링할 수 있는가?
• RQ3 전이 기반 레이블링을 통해 최소한의 인간 주석으로 어떤 정도의 정확도를 달성할 수 있는가?
• RQ4 실제 영상 데이터에서 주석 감소와 정확도 측면에서 이 방법은 어떻게 확장 가능한가?
• RQ5 이 프레임워크는 주석 시간을 수십만 배로 줄이면서도 높은 정확도를 유지할 수 있는가?

주요 결과

• 이 프레임워크는 1600만 프레임의 운전자 시선 데이터셋에서 평균 99.1% 정확도를 유지하면서 수작업 주석 처리 노력이 13배 감소했다.
• 약 略 91.2% 정확도 이하의 낮은 정확도 기준일 경우, 수작업 주석 처리 노력이 84배 감소했다.
• 99.1% 정확도일 경우 주석 노동력이 6,000시간에서 약 460시간으로 감소했고, 91.2% 정확도일 경우 약 71시간으로 감소했다.
• HMM은 숨겨진 객체 행동과 노이즈가 있는 이미지 처리 관측치를 효과적으로 모델링하여 강건한 상태 추론을 가능하게 했다.
• 전이 기반 주석 전략은 매우 효과적이었으며, 매 프레임이 아닌 상태 변화 시점에서만 인간의 입력이 필요했다.
• 결과적으로 HMM을 활용한 반자동 주석 처리가 이산 상태를 가진 대규모 영상 데이터셋에 대해 실현 가능하고 매우 효율적임을 보여주었다.