[논문 리뷰] Cross-Class Relevance Learning for Temporal Concept Localization

W. F. Mader, Satya Krishna Gorti외 3명|arXiv (Cornell University)|2019. 11. 19.

Human Pose and Action Recognition참고 문헌 41인용 수 4

한 줄 요약

이 논문은 시청각 영상의 시간적 개념 지역화를 향상시키기 위해 비디오 세그먼트와 대상 클래스 특징을 함께 인코딩하는 새로운 쌍방향 모델인 Cross-Class Relevance Learning (CCRL)을 제안한다. 클래스별 특징을 통합하고 클래스 간 공유되는 관련성 패턴을 학습함으로써 CCRL은 최신 기술 수준의 성능을 달성하였으며, mAP가 0.8329인 3회차 YouTube-8M 영상 이해 챌린지에서 1위를 차지하였다.

ABSTRACT

We present a novel Cross-Class Relevance Learning approach for the task of temporal concept localization. Most localization architectures rely on feature extraction layers followed by a classification layer which outputs class probabilities for each segment. However, in many real-world applications classes can exhibit complex relationships that are difficult to model with this architecture. In contrast, we propose to incorporate target class and class-related features as input, and learn a pairwise binary model to predict general segment to class relevance. This facilitates learning of shared information between classes, and allows for arbitrary class-specific feature engineering. We apply this approach to the 3rd YouTube-8M Video Understanding Challenge together with other leading models, and achieve first place out of over 280 teams. In this paper we describe our approach and show some empirical results.

연구 동기 및 목표

• 대규모 영상 데이터셋에서 비디오 개념 간 복잡하고 상호 배타적이지 않은 관계를 모델링하는 데 도전한다.
• 클래스 간 독립적으로 처리하는 표준 분류 헤드의 한계를 극복하여 클래스 불균형과 과적합 문제를 해결한다.
• 관련된 클래스 간 정보 공유를 촉진하면서도 효과적인 클래스별 특징 엔지니어링을 가능하게 한다.
• 후보 세그먼트 수를 줄이되 재현율을 손상시키지 않는 효율적인 파ip라인을 개발한다. 이를 통해 확장 가능한 추론을 실현한다.
• YouTube-8M 시간적 개념 지역화 벤치마크에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 세그먼트 특징과 대상 클래스 특징을 입력으로 받아 세그먼트-클래스 관련성 예측을 위한 쌍방향 이진 분류 모델을 제안한다.
• 원-핫 인코딩, 계층적 임베딩, Bag-of-Words 기반 유사도 특징 등 클래스별 특징을 통합한다.
• 딥 네트워크가 포착하기 어려운 비스무스한 복잡한 클래스 관계를 모델링하기 위해 기울기 부스팅 트리(XGBoost)를 사용한다.
• 이중 단계 파이프라인을 구현한다: 첫 번째 단계에서 영상 수준 모델이 고재현율 후보 세그먼트를 생성하고, 두 번째 단계에서 CCRL은 오직 이러한 후보들만 점수화하여 효율성을 확보한다.
• 비디오 및 오디오에 대해 Inception과 VGG 기반 모델에서 사전 학습된 특징을 활용하고, NetVLAD와 NetFV를 미세조정하여 특징 인코딩을 향상시킨다.
• 여러 모델의 앙상블 평균을 적용하여 성능을 추가로 향상시키며, 단순 평균이 더 복잡한 융합 전략보다 우수한 성능을 보였다.

실험 결과

연구 질문

• RQ1 클래스별 특징과 함께 세그먼트-클래스 관련성 모델링을 공동으로 수행함으로써 다양한 다중 레이블 영상 개념에서의 지역화 성능 향상이 가능한가?
• RQ2 특히 자원이 부족하거나 의미적으로 유사한 클래스의 경우, 클래스 간 정보 공유가 일반화 성능 향상에 얼마나 효과적인가?
• RQ3 후보 세그먼트 생성 파이프라인은 대규모 영상 지역화에서 계산 비용을 얼마나 줄일 수 있으며, 고재현율을 유지할 수 있는가?
• RQ4 비미분 가능하고 트리 기반의 모델을 사용해 클래스 특징 학습을 수행할 경우, 복잡한 클래스 관계를 포착하는 데 있어 엔드 투 엔드 딥 러닝보다 성능이 뛰어나게 되는가?
• RQ5 명시적인 클래스 입력을 가진 쌍방향 모델이 다중 개념, 다중 레이블 영상 지역화 작업에서 표준 분류 헤드보다 성능이 뛰어나게 되는가?

주요 결과

• CCRL은 YouTube-8M 테스트 세트에서 mAP 0.8329를 기록하여 280개 이상의 팀 중 1위를 차지하였다.
• 후보 세그먼트 생성 파이프라인은 세그먼트 수를 약 220만 개에서 10만 개로 줄였지만 재현율 0.9969를 유지하여 거의 모든 관련 세그먼트를 보존하였다.
• 모델 앙상블은 후보 세그먼트 생성 이후 mAP를 최대 20% 향상시켜 영상 수준 지식을 지역화에 전이하는 데 효과적임을 입증하였다.
• CCRL은 표준 LSTM 기반 모델 대비 의미적으로 유사한 클래스(예: 자동차 모델, 전자기기) 간에서 더 일관된 성능을 보였으며, 특정 하위클래스에서 성능이 떨어지는 현상이 감소하였다.
• 단독으로도 최고의 CCRL 모델는 랭킹에서 5위를 기록하여 강력한 독립적 구현 가능성을 입증하였다.
• 정성적 분석 결과, CCRL은 LSTM이 잘못 분류한 경우에도 올바른 세그먼트를 식별하는 데 성공했으며, 예를 들어 추락하는 스케이터를 '스케이트보드링'으로 잘못 분류하는 문제를 해결하였다.