[논문 리뷰] An Active Learning Based Approach For Effective Video Annotation And Retrieval

Moitreya Chatterjee, Anton Leuski|arXiv (Cornell University)|2015. 04. 27.

Video Analysis and Summarization참고 문헌 19인용 수 3

한 줄 요약

이 논문은 비디오 애너테이션 및 검색을 위한 클러스터링 기반 샘플 선택 전략에 불확실성, 밀도, 다양성 측정을 통합한 액티브 러닝 프레임워크인 CRMActive를 제안한다. 이는 NormCRM 생성 모델과 결합되어 TRECVID 및 SmartBody 데이터셋에서 랜덤 및 최신 기술 기준보다 뛰어난 성능을 달성하며, 최소한의 레이블링 노력으로도 빠른 수렴과 일관된 성능 향상을 보여준다.

ABSTRACT

Conventional multimedia annotation/retrieval systems such as Normalized Continuous Relevance Model (NormCRM) [16] require a fully labeled training data for a good performance. Active Learning, by determining an order for labeling the training data, allows for a good performance even before the training data is fully annotated. In this work we propose an active learning algorithm, which combines a novel measure of sample uncertainty with a novel clustering-based approach for determining sample density and diversity and integrate it with NormCRM. The clusters are also iteratively refined to ensure both feature and label-level agreement among samples. We show that our approach outperforms multiple baselines both on a recent, open character animation dataset and on the popular TRECVID corpus at both the tasks of annotation and text-based retrieval of videos.

연구 동기 및 목표

• 멀티미디어 시스템에서 높은 인간 애너테이션 비용을 해결하기 위해 완전히 레이블링된 학습 데이터의 필요성을 줄이기 위해.
• 액티브 러닝 환경에서 가장 정보가 많은 샘플을 선택하여 레이블링함으로써 비디오 애너테이션 및 검색 성능을 향상시키기 위해.
• 불확실성, 밀도, 다양성 측정을 통합한 유일한 샘플 선택 전략을 통해 모델 학습 효율성을 향상시키기 위해.
• 실제 비디오 데이터셋, 특히 TRECVID 및 캐릭터 애니메이션 데이터셋에서 제안된 방법의 효과성을 평가하기 위해.
• NormCRM을 통한 특징과 레이블의 동시 모델링이 개별 분류기 학습보다 더 뛰어난 성능을 낼 수 있음을 보여주기 위해.

제안 방법

• 상위-k개와 (k+1)번째로 관련성이 높은 레이블 확률 간 격차를 기반으로 한 unlabeled 샘플에 대한 새로운 불확실성 측정법을 제안: $\text{unct}(\mathbf{x}) = \frac{1}{P(w_1|\mathbf{x}) - P(w_{k+1}|\mathbf{x})}$.
• 샘플의 밀도와 다양성을 추정하기 위해 클러스터 정밀화 방법을 도입하여 선택된 샘플이 대표적이면서도 상이한 특성을 가지도록 보장한다.
• 반복적 클러스터링을 통해 샘플 간 특징과 레이블 일치도를 향상시켜 액티브 러닝 중 모델의 강건성을 향상시킨다.
• 샘플 선택 엔진을 NormCRM과 통합하여 특징과 레이블을 동시에 모델링하는 생성 모델을 활용해 애너테이션 및 검색 성능을 향상시킨다.
• 반복 단위로 가장 정보가 많은 상위-K개 샘플을 복합 정보성 점수 기반으로 선택하는 배치 기반 액티브 러닝 전략을 적용한다.
• 각 배치에서 레이블된 데이터로부터 밀도 가중치 파라미터 $\gamma_d$를 재추정하고, 불확실성, 밀도, 다양성 구성 요소에 대해 동일한 가중치($\lambda_i = \frac{1}{3}$)를 사용한다.

실험 결과

연구 질문

• RQ1 불확실성, 밀도, 다양성을 통합한 새로운 액티브 러닝 전략이 최소한의 레이블링으로도 비디오 애너테이션 및 검색 성능 향상에 기여할 수 있는가?
• RQ2 제안된 CRMActive 프레임워크는 랜덤 레이블링 및 최신 기술 기준 액티브 러닝 기준보다 애너테이션 및 검색 정확도 측면에서 어떻게 비교되는가?
• RQ3 NormCRM을 통한 특징과 레이블의 동시 모델링이 각 개념에 대해 독립된 분류기 학습보다 성능 향상에 얼마나 기여하는가?
• RQ4 클러스터의 반복적 정밀화가 레이블 및 특징 일致성을 향상시켜 액티브 러닝 중 모델 업데이트의 강건성을 높이는가?
• RQ5 CRMActive는 전체 애너테이션 완료 이전, 특히 레이블링의 초반 라운드에서도 높은 성능을 달성할 수 있는가?

주요 결과

• CRMActive는 TRECVID 2007 및 SmartBody 데이터셋에서 모두 랜덤 기준 및 Zha 등이 제안한 최신 기술 기준보다 애너테이션 성능에서 뛰어나다.
• CRMActive를 사용한 애너테이션의 AP 점수는 모든 라운드에서 단조롭게 증가하는 추세를 보이며, 각 레이블링 배치마다 안정적이고 일관된 향상을 보여준다.
• SmartBody 데이터셋에서 CRMActive는 전체 애너테이션이 완료되기 이르게 제7라운드까지 샘플의 상위 6개 레이블을 정확히 예측하여 빠른 모델 수렴을 보여준다.
• SmartBody의 개별 개념에 대해 CRMActive는 모든 개념에 걸쳐 다른 모든 모델보다 성능을 유지하거나 초월하며, 양성 예제 수가 적은 개념들에 대해서도 마찬가지다.
• NormCRM 기반 모델(이를테면 CRMActive 및 랜덤 기준)은 각 개념에 대해 독립된 분류기를 학습하는 Zha 등의 방법보다 레이블 상관관계를 더 잘 모델링하여 뚜렷한 성능 향상을 보인다.
• 특히 'Dance'와 같은 복잡한 개념에 대해서는 성능 향상이 두드러지며, 이는 특징-레이블 동시 모델링이 고립된 분류기보다 richer한 의미 패턴을 포착할 수 있음을 시사한다.