[논문 리뷰] Truly Multi-modal YouTube-8M Video Classification with Video, Audio, and Text

Zhe Wang, Kingsley Kuan외 14명|arXiv (Cornell University)|2017. 06. 17.

Multimodal Machine Learning Applications참고 문헌 5인용 수 17

한 줄 요약

이 논문은 비디오, 오디오, 텍스트(특히 제목과 키워드) 특징을 융합하여 YouTube-8M 데이터셋을 위한 진정한 다중모달 비디오 분류 프레임워크를 제안한다. 다중모달 Mixture of Experts (MoE) 분류기를 사용하여, 텍스트의 통합은 성능을 크게 향상시키며, YouTube-8M-Text 검증 세트에서 86.7%의 GAP를 달성한다. 이는 의미론적 텍스트 신호가 비디오 분류의 의미적 갭을 효과적으로 메우며, 희귀하거나 모호한 클래스에 특히 유용하다는 것을 보여준다.

ABSTRACT

The YouTube-8M video classification challenge requires teams to classify 0.7 million videos into one or more of 4,716 classes. In this Kaggle competition, we placed in the top 3% out of 650 participants using released video and audio features. Beyond that, we extend the original competition by including text information in the classification, making this a truly multi-modal approach with vision, audio and text. The newly introduced text data is termed as YouTube-8M-Text. We present a classification framework for the joint use of text, visual and audio features, and conduct an extensive set of experiments to quantify the benefit that this additional mode brings. The inclusion of text yields state-of-the-art results, e.g. 86.7% GAP on the YouTube-8M-Text validation dataset.

연구 동기 및 목표

• 기존의 다중모달 접근 방식에서 간과되기 쉬운 제목과 키워드와 같은 고수준 의미론적 정보를 통합하여 비디오 분류의 의미적 갭을 해소하고자 한다.
• 시각적, 청각적, 텍스트적 특징을 동시에 모델링하는 통합된 다중모달 학습 프레임워크를 개발하여 분류 성능을 향상시키고자 한다.
• 희귀하거나 모호한 클래스에 대해 시각적 및 청각적 신호가 제한적인 경우, 텍스트 특징이 분류 정확도 향상에 기여하는 정도를 정량화하고자 한다.
• YouTube-8M-Text 데이터셋, 학습된 텍스트 특징, 모델을 공개하여 다중모달 비디오 이해 분야의 향후 연구를 지원하고자 한다.

제안 방법

• 저자는 공식 메타데이터 API를 사용하여 YouTube에서 영어로 된 콘텐츠를 선별하고, 제목과 키워드를 수집하여 YouTube-8M-Text 데이터셋을 구축하였다. 이후 문장의 대소문자 정규화 및标 punctuations 제거 등의 텍스트 전처리를 수행하였다.
• Google News 데이터셋에서 미리 훈련된 Word2Vec 임베딩을 사용하여 단어를 300차원의 조밀 벡터로 변환함으로써 텍스트 특징의 의미론적 표현을 가능하게 하였다.
• 원본 YouTube-8M 데이터셋으로부터 절단된 딥러닝 모델을 사용해 비디오 수준의 특징을 추출하였으며, 오디오 및 시각적 특징은 1초 간격으로 풀링하였다.
• 텍스트 특징은 별도로 처리된 후, 비디오 및 오디오 특징과 결합되어 다중모달 Mixture of Experts (MoE) 분류기로 입력되며, 이로써 입력이 전문화된 전문가 네트워크로 동적 라우팅될 수 있도록 하였다.
• 성능 평가에는 평균 평균 정확도(mAP) 및 일반화 평균 정확도(GAP)를 사용하였으며, 훈련, 개발, 검증 세트의 조합을 활용해 모델을 훈련하고 평가하였다.
• 하이퍼파라미터는 별도의 개발 세트에서 튜닝되었으며, 각 모odal의 기여도를 분리하기 위해 아블레이션 스터디를 실시하였다.

실험 결과

연구 질문

• RQ1 제목과 키워드와 같은 텍스트 메타데이터의 통합이 YouTube-8M 데이터셋에서 비디오 분류 성능에 얼마나 기여하는가?
• RQ2 텍스트 특징은 특히 모호하거나 희귀한 클래스에서 저수준의 시각적/청각적 특징과 고수준의 클래스 레이블 사이의 의미적 갭을 효과적으로 줄일 수 있는가?
• RQ3 텍스트 특징의 성능은 유니그램 키워드 매칭 기반 모델과 비교해 볼 때 어떻게 되며, 제목의 단어 순서는 추가적인 분류 능력을 제공하는가?
• RQ4 비디오, 오디오, 텍스트의 다중모달 융합은 단모달 또는 약한 다중모달 기반 모델보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 데이터 품질과 언어적 편향이 모델의 일반화 능력에 미치는 영향은 무엇이며, 비영어 또는 자원이 적은 콘텐츠가 제외될 경우에 특히 그러한 영향이 어떻게 나타나는가?

주요 결과

• 텍스트 특징의 통합으로 인해 성능 향상이 크게 이루어졌으며, YouTube-8M-Text 검증 세트에서 86.7%의 일반화 평균 정확도(GAP)를 달성하여 이전 최고 성능 모델을 초월하였다.
• 제목이 키워드보다 더 큰 기여를 하였으며, 이는 문장 구조와 단어 순서가 유지되어 의미 이해에 도움이 되기 때문이다.
• 유니그램 키워드 매칭 기반 모델보다 높은 mAP를 기록하여, 학습된 텍스트 표현이 단순한 키워드 매칭에 의존하지 않고 의미 있는 의미론적 내용을 포착하고 있음을 시사한다.
• 아블레이션 스터디를 통해 텍스트 특징이 훈련 예제가 적은 클래스에서 모호성을 줄이고 일반화 능력을 향상시켜 상당한 성능 향상을 이룬다는 점을 확인하였다.
• 저자는 데이터셋의 고정밀도, 기계 생성된 레이블가 시각적 및 청각적 콘텐츠가 명확한 영상에 대한 편향을 유도할 수 있으며, 이는 실제 환경에서의 모델 성능을 과대평가할 수 있음을 관찰하였다.
• YouTube-8M-Text 데이터셋, 사전 학습된 텍스트 특징, 코드를 공개함으로써 향후 다중모달 비디오 이해 및 모델 일반화 연구를 위한 기반을 마련하였다.