[논문 리뷰] Large-scale Video Classification guided by Batch Normalized LSTM Translator

Jae Hyeon Yoo|arXiv (Cornell University)|2017. 07. 13.

Video Analysis and Summarization인용 수 9

한 줄 요약

이 논문은 배치 정규화를 적용한 순환 신경망(BNLSTM) 번역기(translator)를 사용하여 다중라벨 비디오 태깅을 비디오에서 문장으로의 번역 작업으로 간주하는 새로운 비디오 분류 프레임워크를 제안한다. 레이블을 단어로 간주하고 지도 학습된 LSTMs와 확률적 게이팅, 배치 정규화를 활용함으로써 일반화 능력이 향상되었으며, 대규모 YouTube-8M 데이터셋에서 검증 성능가 79.1%의 GAP를 달성하여 최신 기준을 초월한다.

ABSTRACT

Youtube-8M dataset enhances the development of large-scale video recognition technology as ImageNet dataset has encouraged image classification, recognition and detection of artificial intelligence fields. For this large video dataset, it is a challenging task to classify a huge amount of multi-labels. By change of perspective, we propose a novel method by regarding labels as words. In details, we describe online learning approaches to multi-label video classification that are guided by deep recurrent neural networks for video to sentence translator. We designed the translator based on LSTMs and found out that a stochastic gating before the input of each LSTM cell can help us to design the structural details. In addition, we adopted batch normalizations into our models to improve our LSTM models. Since our models are feature extractors, they can be used with other classifiers. Finally we report improved validation results of our models on large-scale Youtube-8M datasets and discussions for the further improvement.

연구 동기 및 목표

• 변동 길이의 시퀀스와 알려지지 않은 레이블 분포를 가진 대규모 다중라벨 비디오 분류 문제에 대응하기 위해.
• 깊이 있는 순환 신경망을 사용하여 비디오 분류 문제를 비디오에서 문장으로의 번역 문제로 재구성하는 것이 가능한지 탐색하기 위해.
• 피드백 루프 내에서 배치 정규화와 확률적 게이팅 메커니즘을 통해 LSTMs의 일반화 능력을 향상시키기 위해.
• 다양한 최종 분류기(예: MoE 포함)와 함께 제안된 모델이 특징 추출기로서의 효과성을 평가하기 위해.

제안 방법

• 각 레이블 벡터를 단어의 시퀀스로 간주하여 다중라벨 비디오 분류 문제를 비디오에서 문장으로의 번역 작업으로 변환한다.
• 기본 LSTMs 모델에 지도 피드백 메커니즘을 적용하여 정답 레이블을 확률 β로 주입함으로써 더 나은 은닉 상태 추적을 가능하게 한다.
• 각 LSTMs 셀의 입력 이전에 확률적 게이팅을 도입하여 학습 동역학을 향상시키고 피드백 루프의 병목 현상을 완화한다.
• LSTMs 레이어에 배치 정규화를 적용하여 내부 공변량 이동을 줄이고 수렴 속도를 가속화한다(BNLSTM).
• YouTube-8M 데이터셋에서 사전 추출된 Inception CNN 특징을 사용하며, 특징 집합의 기준으로 평균 풀링을 적용한다.
• 최종 특징 표현은 로지스틱 분류기 또는 MoE 모델과 결합되어 분류를 수행하며, 이는 전이 학습과 모델 확장성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 깊이 있는 순환 신경망을 사용하여 다중라벨 비디오 분류 문제를 비디오에서 문장으로의 번역 문제로 효과적으로 재구성할 수 있는가?
• RQ2 다양한 β 값으로 지도 피드백을 적용할 경우 LSTMs의 성능과 일반화 능력에 어떤 영향을 미치는가?
• RQ3 대규모 비디오 인식에서 LSTMs 기반 특징 추출기의 성능에 배치 정규화가 어떤 영향을 미치는가?
• RQ4 확률적 게이팅과 배치 정규화를 조합할 경우 일관된 성능 향상가 발생하는가, 아니면 안정성에 대한 상충 관계가 존재하는가?
• RQ5 제안된 BNLSTM 모델이 MoE와 같은 다양한 최종 분류기의 특징 추출기로서 강력한 성능을 발휘할 수 있는가?

주요 결과

• 정답 레이블을 주입하지 않는 β = 0.0 설정에서 가장 높은 GAP 76.3%를 기록하여, 피드백 루프를 완전히 활용할 경우 성능 향상이 이루어지는 것으로 나타났다.
• 로지스틱 분류기를 사용한 BNLSTM 모델은 78.3%의 GAP를 달성하여 기초 모델(75.9%)과 단일 BN 레이어만 적용된 모델(77.9%)보다 유의미한 향상을 보였다.
• BNLSTM과 MoE 분류기의 조합은 79.1%의 최고 검증 성능(GAP)을 기록하여 모델의 호환성과 확장성의 가능성을 입증했다.
• BN 레이어와 BNLSTM을 동시에 적용한 경우 BNLSTM 단독 사용보다 성능 향상이 이루어지지 않았으며, 이는 서로 다른 평균 통계를 가진 다중 BN 레이어로 인한 잠재적 불안정성 때문일 수 있다.
• 지도 학습된 LSTMs에서 각 단어의 투영에 대해 개별 이진 교차 엔트로피를 사용함으로써 소프트맥스 병목 현상이 제거되었으며, 이는 기본 모델 대비 학습 속도 향상에 기여했다.
• 모델 분석 결과, 평균 풀링을 사용할 경우 프레임 순서 정보가 손실될 수 있으며, 이는 LSTM 인코더나 어텐션 메커니즘으로 평균 풀링을 대체할 경우 성능 향상이 추가로 기대될 수 있음을 시사한다.