[논문 리뷰] End-to-End Video Classification with Knowledge Graphs

Yuan Fang, Zhe Wang외 5명|arXiv (Cornell University)|2017. 11. 06.

Multimodal Machine Learning Applications참고 문헌 30인용 수 7

한 줄 요약

이 논문은 외부 지식 그래프를 딥러닝 모델과 통합하여 다중 레이블 비디오 분류 성능을 향상시키는 엔드 투 엔드 지식 인식 비디오 분류 프레임워크를 제안한다. 지식 그래프를 비디오 특징 학습과 통합함으로써, YouTube-8M에서 평균 평균 정밀도를 최대 2.9% 향상시켰으며, 이는 외부 의미적 지식이 모델의 일반화 능력을 향상시킨다는 것을 보여주며, 특히 장꼬리 및 모호한 클래스에서 효과적임을 시사한다.

ABSTRACT

Video understanding has attracted much research attention especially since the recent availability of large-scale video benchmarks. In this paper, we address the problem of multi-label video classification. We first observe that there exists a significant knowledge gap between how machines and humans learn. That is, while current machine learning approaches including deep neural networks largely focus on the representations of the given data, humans often look beyond the data at hand and leverage external knowledge to make better decisions. Towards narrowing the gap, we propose to incorporate external knowledge graphs into video classification. In particular, we unify traditional "knowledgeless" machine learning models and knowledge graphs in a novel end-to-end framework. The framework is flexible to work with most existing video classification algorithms including state-of-the-art deep models. Finally, we conduct extensive experiments on the largest public video dataset YouTube-8M. The results are promising across the board, improving mean average precision by up to 2.9%.

연구 동기 및 목표

• 인간과 기계의 비디오 이해 간 지식 격차를 해소하기 위해 외부 의미적 지식을 통합한다.
• 기존의 지식이 없는 딥러닝 모델을 엔드 투 엔드로 학습 가능한 프레임워크에서 외부 지식 그래프와 통합한다.
• YouTube-8M과 같은 대규모 장꼬리 데이터셋에서 다중 레이블 비디오 분류 성능을 향상시킨다.
• 사례 연구를 통해 지식 그래프가 언제 성능 향상에 기여하고 언제 성능 저하를 초래하는지 조사한다.
• 기존 비디오 분류 모델, 특히 최신 딥 네트워크와의 탄력적인 통합을 가능하게 한다.

제안 방법

• 프레임워크는 공동 임베딩 공간을 통해 지식 그래프를 비디오 특징 표현과 통합하여 엔드 투 엔드 학습을 가능하게 한다.
• 지식 그래프에서 유관한 관계 지식을 인코딩하기 위해 그래프 컬러션 네트워크(GCN)를 사용하여 비디오 수준의 표현을 풍부하게 한다.
• 비디오 분류 손실과 지식 인식 대비 손실을 함께 최적화하여 비디오 특징이 지식 그래프 내 의미적으로 관련된 개념과 일치하도록 한다.
• DBoF 및 LSTM 기반 아키텍처와 같은 기존 비디오 모델을 특징 추출기로 간주함으로써 유연한 통합을 지원한다.
• 비디오의 의미적 내용을 뒷받침하는 관련 지식 그래프 경로에 주의를 기울이는 방식으로 일반화 능력을 향상시킨다.
• 비디오 특징과 그래프 내 의미적으로 일관된 개념과 일치하도록 유도하는 지식 인식 손실 함수를 적용한다.

실험 결과

연구 질문

• RQ1 YouTube-8M과 같은 대규모 장꼬리 데이터셋에서 외부 지식 그래프가 다중 레이블 비디오 분류 성능을 향상시킬 수 있는가?
• RQ2 지식 그래프의 통합이 모호하거나 자원이 부족한 비디오 카테고리에서 모델 성능에 어떤 영향을 미치는가?
• RQ3 지식 그래프가 예측 성능을 향상시키는 상황은 언제이며, 언제 성능 저하를 초래하는가?
• RQ4 비디오 콘텐츠와 지식 그래프 개념 간 의미 일관성이 분류 정확도에 어떤 역할을 하는가?
• RQ5 딥러닝 모델과 비디오 이해를 위해 지식 그래프를 효과적이고 엔드 투 엔드로 통합할 수 있는 방법은 무엇인가?

주요 결과

• 제안된 엔드 투 엔드 프레임워크는 YouTube-8M 벤치마크에서 최신 지식 없는 모델 대비 평균 평균 정밀도를 최대 2.9% 향상시켰다.
• 지식 그래프 덕분에 24.9%의 비디오에서 예측 순위가 크게 향상되었으며, 특히 시각적 단서가 부족한 장꼬리 및 모호한 클래스에서 효과적이다.
• 8.9%의 경우에서 지식 그래프 통합으로 인해 예측 성능이 악화되었으며, 주로 의미적으로 일관되지만 관련 없는 개념에서의 과도한 일반화 때문이었다.
• 사례 연구 결과, 관련 개념들(예: '종이', '장난감'이 '접지'와 관련이 있을 때)이 존재하고 지식 그래프와 의미적으로 일관될 경우 지식 그래프가 도움이 된다.
• 부정적인 사례가 일부 존재하더라도 모델은 전체적으로 성능 향상을 달성했으며, 지식 통합의 총합적 이점이 확인되었다.
• 프레임워크는 DBoF 및 LSTM 기반 아키텍처를 포함한 다양한 기존 비디오 분류 모델과도 탄력적으로 통합 가능하다.