[논문 리뷰] Web Video Categorization based on Wikipedia Categories and Content-Duplicated Open Resources

Zhineng Chen, Juan Cao외 3명|arXiv (Cornell University)|2010. 08. 04.

Text and Document Classification Technologies참고 문헌 7인용 수 4

한 줄 요약

이 논문은 다양한 미디어 형태에서의 콘텐츠 중복 오픈 리소스(CDORs)와 위키백과 카테고리(WikiCs)를 활용하여 웹 비디오 분류 방법을 제안한다. 분류 가능한 WikiC 개념에서 질의를 구성하고 검색 엔진을 통해 CDORs를 수집함으로써, 투표 알고리즘을 사용하여 WikiC 공간에서 비디오 카테고리를 모델링하는 방법을 통해 단일 리소스 또는 최신 기법보다 뛰어난 성능을 달성한다.

ABSTRACT

This paper presents a novel approach for web video categorization by leveraging Wikipedia categories (WikiCs) and open resources describing the same content as the video, i.e., content-duplicated open resources (CDORs). Note that current approaches only col-lect CDORs within one or a few media forms and ignore CDORs of other forms. We explore all these resources by utilizing WikiCs and commercial search engines. Given a web video, its discrimin-ative Wikipedia concepts are first identified and classified. Then a textual query is constructed and from which CDORs are collected. Based on these CDORs, we propose to categorize web videos in the space spanned by WikiCs rather than that spanned by raw tags. Experimental results demonstrate the effectiveness of both the proposed CDOR collection method and the WikiC voting catego-rization algorithm. In addition, the categorization model built based on both WikiCs and CDORs achieves better performance compared with the models built based on only one of them as well as state-of-the-art approach.

연구 동기 및 목표

• 기존 비디오 분류 기법이 단일 미디어 형식 내에서만 콘텐츠 중복 리소스를 수집하는 데에 한계가 있다는 문제를 해결하기 위해.
• 동일한 콘텐츠를 기술하는 이종 오픈 리소스(예: 텍스트, 이미지, 비디오)를 통합하여 비디오 분류 정확도를 향상시키기 위해.
• 위키백과 카테고리와 다중미디어 CDORs를 활용하는 통합 프레임워크를 개발하여 더 견고한 비디오 분류를 가능하게 하기 위해.
• 단일 리소스 유형 또는 최신 기법에 기반한 모델과 비교하여 WikiCs와 CDORs를 조합한 모델의 효과성을 평가하기 위해.

제안 방법

• 웹 비디오의 메타데이터와 콘텐츠를 분석하여 분류에 유의미한 위키백과 개념을 식별한다.
• 식별된 위키백과 개념을 바탕으로 텍스트 질의를 구성하여 상용 검색 엔진을 통해 콘텐츠 중복 오픈 리소스(CDORs)를 검색한다.
• 대상 비디오의 기반 콘텐츠와 동일한 내용을 기술하는 다수의 미디어 유형(예: 텍스트, 이미지, 비디오)의 CDORs를 수집한다.
• 원시 태그를 사용하는 대신, 위키백과 카테고리(WikiCs)가 생성하는 공간에 비디오 카테고리를 표현한다.
• CDOR에서 유도된 카테고리 예측을 집계하고 최종 비디오 카테고리를 할당하기 위해 WikiC 투표 알고리즘을 적용한다.
• WikiCs와 CDORs를 모두 사용하여 분류 모델을 학습하고 평가하며, 단일 리소스 유형에 의존하는 모델과의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 위키백과 카테고리와 다중미디어 콘텐츠 중복 오픈 리소스를 활용하면 웹 비디오 분류 정확도가 향상되는가?
• RQ2 다양한 미디어 유형에서 유도된 CDORs를 조합하는 것과 단일 미디어 유형의 CDORs에 의존하는 것과의 성능 비교는 어떻게 되는가?
• RQ3 WikiC 기반의 투표 모델이 원시 태그나 단일 리소스 접근 방식에 기반한 모델보다 우수한가?
• RQ4 WikiCs와 CDORs가 전체 분류 성능에 기여하는 상대적 기여도는 어떠한가?
• RQ5 제안된 방법은 최신 기술 기반의 비디오 분류 기법과 비교하여 어떻게 성능을 냈는가?

주요 결과

• 제안된 CDOR 수집 방법은 다양한 미디어 유형에서 관련 오픈 리소스를 효과적으로 검색하여 기능의 풍부함을 향상시킨다.
• WikiC 투표 기반 분류 알고리즘이 원시 태그나 단일 리소스 입력에 기반한 모델보다 높은 정확도를 달성한다.
• 위키백과 카테고리와 CDORs를 모두 사용하는 통합 모델은 단일 리소스에 의존하는 모델보다 성능이 뛰어나다.
• 기본 데이터셋에서의 실험 결과로 검증된 바와 같이, 제안된 방법은 최신 기술 기반 접근 방식보다 뛰어난 성능을 보였다.
• 이종 CDORs와 WikiCs의 통합은 더 견고하고 구분력 있는 비디오 분류 프레임워크를 이끌어낸다.