[논문 리뷰] Multimodal Feature Fusion for Video Advertisements Tagging Via Stacking Ensemble

Qingsong Zhou, Hai Liang외 2명|arXiv (Cornell University)|2021. 08. 02.

Video Analysis and Summarization참고 문헌 34인용 수 4

한 줄 요약

이 논문은 영상 광고 태깅을 위한 스태킹 앙상블 기반 다중모odal 특징 융합 프레임워크를 제안한다. 시각적, 텍스처적, 청각적 특징을 융합하여 정확도와 강건성을 향상시킨다. 이 방법은 최상위 성능를 기록하여 2021년 텐센트 광고 알고리즘 경연 대회에서 1위를 차지했으며, 전역 평균 정밀도(GAP)는 82.63%를 기록했다.

ABSTRACT

Automated tagging of video advertisements has been a critical yet challenging problem, and it has drawn increasing interests in last years as its applications seem to be evident in many fields. Despite sustainable efforts have been made, the tagging task is still suffered from several challenges, such as, efficiently feature fusion approach is desirable, but under-explored in previous studies. In this paper, we present our approach for Multimodal Video Ads Tagging in the 2021 Tencent Advertising Algorithm Competition. Specifically, we propose a novel multi-modal feature fusion framework, with the goal to combine complementary information from multiple modalities. This framework introduces stacking-based ensembling approach to reduce the influence of varying levels of noise and conflicts between different modalities. Thus, our framework can boost the performance of the tagging task, compared to previous methods. To empirically investigate the effectiveness and robustness of the proposed framework, we conduct extensive experiments on the challenge datasets. The obtained results suggest that our framework can significantly outperform related approaches and our method ranks as the 1st place on the final leaderboard, with a Global Average Precision (GAP) of 82.63%. To better promote the research in this field, we will release our code in the final version.

연구 동기 및 목표

• 영상 광고 태깅에서 노이즈가 많고 상충되는 다중모달 특징의 문제를 해결한다.
• 시각적, 텍스처적, 청각적 모달리티에서의 상보적 정보를 효과적으로 융합하여 태깅 성능을 향상시킨다.
• 모달리티별 노이즈와 일관성 없는 요소의 영향을 줄이는 강건한 특징 융합 전략을 개발한다.
• 2021년 ACM 멀티미디어 다중모달 광고 영상 이해 도전대회에서 최고 성능를 달성한다.
• 광범위한 추상화 및 비교 실험을 통해 제안된 프레임워크의 효과성과 일반화 능력을 입증한다.

제안 방법

• 각각의 모달리티(시각, 텍스트, 청각)에 대해 훈련된 다수의 기본 모델의 예측을 융합하기 위해 스태킹 앙상블 접근법을 사용한다.
• 딥 네트워크(DNN)를 활용해 각 모달리티에서 특징을 추출하고 분류한다: 시각적 특징은 CNN에서, 텍스트는 OCR 및 ASR에서, 청각적 특징은 음성 인식에서 유도한다.
• 추상화 및 비교를 위해 특징 수준 융합 전략으로 연결(concatenation), 합산 풀링(sum-pooling), 최대 풀링(max-pooling), 주의 메커니즘(attention mechanisms)을 적용한다.
• 기본 모델의 예측을 통합하기 위해 스태킹 앙상블의 메타러닝러를 활용하며, 최적의 가중치를 학습하고 상충되는 모달리티 출력의 노이즈를 줄인다.
• 앙상블 모델 훈련 중 과적합을 방지하기 위해 드롭아웃 정규화를 적용한다.
• 주 평가 지표로 전역 평균 정밀도(GAP)를 사용하며, 신뢰도 점수를 활용해 예측 결과를 순위 매긴다.

실험 결과

연구 질문

• RQ1 스태킹 앙상블 프레임워크는 시각적, 텍스처적, 청각적 특징을 얼마나 효과적으로 융합하여 영상 광고 태깅 성능을 향상시킬 수 있는가?
• RQ2 각 모달리티(시각, 텍스트, 청각)가 최종 태깅 정확도 및 GAP에 기여하는 상대적 기여도는 어떠한가?
• RQ3 기존 융합 방법(예: 연결, 주의, 풀링)과 비교했을 때 제안된 스태킹 기반 융합 전략은 강건성과 성능 면에서 어떻게 다른가?
• RQ4 추가 특징(예: TF-IDF, 추가 임beddings)의 포함이 태깅 결과를 얼마나 향상시키는가?
• RQ5 노이즈 수준과 모달리티 간 갈등이 다양한 영상 광고에 대해 이 프레임워크는 얼마나 잘 일반화되는가?

주요 결과

• 제안된 스태킹 앙상블 프레임워크는 전역 평균 정밀도(GAP) 82.63%를 기록하여 2021년 ACM 멀티미디어 도전대회 최종 랭킹에서 1위를 차지했다.
• 시각적 특징만으로도 가장 높은 개별 GAP 79.636%를 기록했으며, 텍스트(75.612%) 및 청각(70.701%) 모달리티를 모두 초월했다.
• TF-IDF 및 추가 임베딩을 포함한 시각, 텍스트, 청각 특징을 융합한 결과 최고의 성능를 기록했으며, 정확도 93.34%, GAP 82.641%를 달성했다.
• 스태킹 기반 융합 방법은 연결(GAP: 80.971%), 합산 풀링(80.197%), 최대 풀링(80.511%), 주의 메커니즘(81.295%)을 포함한 모든 기준 융합 전략을 모두 압도했다.
• 추상화 연구 결과, 더 많은 모달리티를 추가할수록 성능 향상이 지속적으로 이루어지며, 전체 특징 세트(시각+텍스트+청각+TF-IDF+추가)가 가장 높은 정확도와 GAP를 기록했다.
• 예측 결과의 시각화 분석 결과, 참 긍정 태그가 항상 상위 9개 예측 내에 일관되게 포함되어 있어 모델의 신뢰성과 정밀도를 확인할 수 있었다.