[논문 리뷰] MTLE: A Multitask Learning Encoder of Visual Feature Representations for Video and Movie Description

Oliver Nina, Washington García외 2명|arXiv (Cornell University)|2018. 09. 19.

Multimodal Machine Learning Applications참고 문헌 34인용 수 3

한 줄 요약

이 논문은 다중 작업 학습 인코더-디코더 프레임워크인 MTLE를 제안하며, 의미 거리 함수를 사용해 다양성을 확보하는 쌍의 캡션을 선택함으로써 영상 및 영화 설명 성능을 햖थ한다. 이 방법은 여러 벤치마크에서 최고 성능을 기록했으며, 시각 장애인을 위한 유용성 측면에서 LSMDC 2017 챌린지에서 인간 평가자들 사이에서 최고 순위를 기록했다.

ABSTRACT

Learning visual feature representations for video analysis is a daunting task that requires a large amount of training samples and a proper generalization framework. Many of the current state of the art methods for video captioning and movie description rely on simple encoding mechanisms through recurrent neural networks to encode temporal visual information extracted from video data. In this paper, we introduce a novel multitask encoder-decoder framework for automatic semantic description and captioning of video sequences. In contrast to current approaches, our method relies on distinct decoders that train a visual encoder in a multitask fashion. Our system does not depend solely on multiple labels and allows for a lack of training data working even with datasets where only one single annotation is viable per video. Our method shows improved performance over current state of the art methods in several metrics on multi-caption and single-caption datasets. To the best of our knowledge, our method is the first method to use a multitask approach for encoding video features. Our method demonstrates its robustness on the Large Scale Movie Description Challenge (LSMDC) 2017 where our method won the movie description task and its results were ranked among other competitors as the most helpful for the visually impaired.

연구 동기 및 목표

• 제한적 또는 희박한 훈련 애너테이션을 가진 영상 캡셔닝에서 강력한 시각적 특징 표현을 학습하는 데 도전한다.
• 단일 디코더 RNN 기반 인코더의 편향성과 낮은 일반화 능력을 극복하기 위해 다중 작업 학습 프레임워크를 도입한다.
• 거리 기반 손실을 통해 의미적 다양성을 활용함으로써, LSMDC와 같이 영상당 하나의 캡션만 존재하는 데이터셋에서도 효과적인 훈련과 성능 향상을 가능하게 한다.
• 다양한 디코더들과 함께 인코더를 공동으로 훈련시켜 캡션을 공유된 의미 공간에 매핑함으로써 모델의 일반화 능력을 향상시킨다.
• 자동 평가 지표와 인간 평가 모두에서 뛰어난 성능을 보이도록 프레임워크를 개발하며, 특히 실생활 접근성 응용 분야에서 유의미한 성능 향상을 이룬다.

제안 방법

• 각 영상 프레임에서 시각적 특징을 추출하기 위해 CNN을 사용한 후, 이중 방향 RNN 기반 인코더를 통해 단일 시각적 특징 인코딩을 생성한다.
• 모든 디코더가 인코더 출력에 조건부로 작동하며 캡션을 예측하도록, 다중 작업 학습 설정에서 인코더와 다수의 디코더를 함께 훈련시킨다.
• 훈련 중에 각 영상의 의미 거리가 가장 큰 캡션 쌍을 선택하기 위해 의미 거리 함수(SDF)를 적용하여 감독 신호의 다양성을 보장한다.
• 다양한 캡션 쌍에서 온 감독 신호를 통합하는 새로운 다중 작업 손실 함수를 제안하여, 단일 캡션 데이터에서도 정규화 및 일반화 능력 향상을 가능하게 한다.
• 캡션 생성 중에 관련 시각적 특징에 동적으로 주의를 기울일 수 있도록 디코더에 소프트 어텐션 메커니즘을 적용한다.
• 백프로파게이션을 통해 인코더와 디코더를 엔드 투 엔드로 최적화하며, 모든 디코더 간에 인코더 가중치를 공유하여 시각적 표현 학습의 일관성을 유지한다.

실험 결과

연구 질문

• RQ1 훈련 데이터가 희박하거나 영상당 하나의 캡션만 존재하는 경우, 다중 작업 학습 프레임워크가 영상 캡셔닝에서 시각적 특징 인코더의 일반화 능력을 향상시킬 수 있는가?
• RQ2 훈련 중에 의미 거리가 가장 큰 캡션 쌍을 선택함으로써, 더 나은 시각적 표현 학습과 향상된 캡션 품질을 달성할 수 있는가?
• RQ3 자동 평가 지표와 인간 평가 모두에서, 특히 접근성 응용 분야에서 제안된 MTLE 프레임워크는 최신 기술 대비 어떤 성능을 보이는가?
• RQ4 다양한 캡션 쌍에서 훈련된 다수의 디코더 간에 단일 인코더를 효과적으로 공유할 수 있는가, 성능 저하 없이?
• RQ5 다중 작업 손실 함수는 개별 캡션에 대한 편향을 얼마나 줄이고, 제로샷 또는 저자원 환경에서의 강건성 향상에 기여하는가?

주요 결과

• LSMDC 2017 챌린지에서 MTLE는 모든 경쟁 방법 중에서 가장 높은 인간 평가 점수(2.50/5.0)를 기록했으며, 시각 장애인을 위한 유용성 측면에서 Fcrerank(2.18) 및 PostProp(2.17)와 같은 최고 성능 기법들을 초월했다.
• LSMDC 2017 데이터셋에서 MTLE는 CIDEr 점수 0.073을 기록했으며, FuseNet(0.083)과 Attn2l(0.073)과 같은 강력한 경쟁자들을 능가했으며, BLEU 점수는 0.003, METEOR는 0.052를 기록했다.
• 인간 평가 히스토GRAM에서 미세한 오류와 중대한 오류 비율이 가장 낮아, 캡션 품질의 높은 신뢰성을 보여주었다.
• 정성적 결과 분석에서 MTLE가 생성한 캡션은 종종 인간 수준의 성능에 도달하거나 이를 근접했으며, 일부 사례에서는 지정된 참조 캡션에 존재하지 않는 성별과 같은 속성을 정확히 식별했다.
• MTLE는 MSVD, MSR-VTT, TRECVID, LSMDC 등 여러 데이터셋에서 뛰어난 일반화 능력을 보였으며, 다양한 평가 지표에서 기준 모델 대비 일관된 성능 향상을 보였다.
• 단일 캡션 데이터셋을 효과적으로 처리하기 위해, 손실 함수에 의미적 다양성을 활용하는 정규화 항을 도입함으로써, 영상당 하나의 캡션만 존재하는 상황에서도 성능 향상을 달성했다.