[논문 리뷰] SACT: Self-Aware Multi-Space Feature Composition Transformer for Multinomial Attention for Video Captioning

Chiranjib Sur|arXiv (Cornell University)|2020. 06. 25.

Multimodal Machine Learning Applications참고 문헌 38인용 수 4

한 줄 요약

이 논문은 다중 공간 특징 조합 트랜스포머인 SACT를 제안하며, 다중 이항 주의(MultAtt)를 도입하여 관련 있는 영상 프레임을 선택적으로 조합함으로써 기존의 다중 헤드 주의보다 주의 품질을 향상시켜 영상 캡션 생성 성능을 향상시킨다. 모델은 ActivityNet과 YouCookII에서 이전 방법들을 능가하며, 정교한 특징 조합과 주목할 만한 콘텐츠에 대한 인식을 통해 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Video captioning works on the two fundamental concepts, feature detection and feature composition. While modern day transformers are beneficial in composing features, they lack the fundamental problems of selecting and understanding of the contents. As the feature length increases, it becomes increasingly important to include provisions for improved capturing of the pertinent contents. In this work, we have introduced a new concept of Self-Aware Composition Transformer (SACT) that is capable of generating Multinomial Attention (MultAtt) which is a way of generating distributions of various combinations of frames. Also, multi-head attention transformer works on the principle of combining all possible contents for attention, which is good for natural language classification, but has limitations for video captioning. Video contents have repetitions and require parsing of important contents for better content composition. In this work, we have introduced SACT for more selective attention and combined them for different attention heads for better capturing of the usable contents for any applications. To address the problem of diversification and encourage selective utilization, we propose the Self-Aware Composition Transformer model for dense video captioning and apply the technique on two benchmark datasets like ActivityNet and YouCookII.

연구 동기 및 목표

• 표준 다중 헤드 주의가 주목할 만한 콘텐츠에 대한 선택적 인식 없이 모든 특징을 동일하게 취급하는 한계를 해결하기 위해.
• 자기 인식 특징 조합을 통해 모델이 가장 관련성이 높은 프레임 조합을 식별하고 우선순위를 부여할 수 있도록 하여 영상 캡션 생성 성능을 향상시키기 위해.
• 모든 특징을 동등하게 집계하는 대신, 프레임 조합의 분포를 모델링하여 주의 품질을 향상시키는 새로운 아키텍처를 개발하기 위해.
• 다층 트랜스포머 프레임워크 내에서 프레임 수준의 콘텐츠 관련성 인식을 통합하여 더 나은 캡션 생성을 달성하기 위해.
• 활동넷과 유쿡투이와 같은 벤치마크 데이터셋에서 개선된 주의 조합과 표현 학습을 통해 기존 방법들을 능가하기 위해.

제안 방법

• 자기 인식 필터링을 적용하여 주의 계산 이전에 주목할 만한 프레임 특징을 선택하고 조합하는 다층 트랜스포머 아키텍처인 자기 인식 조합 트랜스포머(SACT)를 도입한다.
• 다항 주의(MultAtt)를 제안하며, 가중치 합을 사용하여 유용한 프레임 조합의 분포를 모델링한다: $ f_{M_uA} = W_{M_uA} abla eta_i extbf{I}_i $, 여기서 $ m << n $이며, 높은 영향력을 가진 프레임에 집중한다.
• 다중 헤드 주의 출력을 향상시키기 위해 트랜스포머 스택의 끝단에 별도의 인식 메커니즘을 적용하여 프레임 수준의 관련성에 민감도를 높인다.
• 과적합을 방지하고 이전 단어 임베딩에 대한 의존도를 줄이기 위해 훈련 중 마스킹 프레임워크를 사용하여 언어 생성을 위한 다중 헤드 주의에 중점을 둔다.
• 30 에포크, 학습률 0.0002, 이벤트 제안 및 캡션 생성의 공동 최적화를 포함한 엔드 투 엔드 훈련 전략을 채택한다.
• 이를 위해 이미지 및 옵티컬 플로우 특징을 사용하여 총 주의 차원이 1048인 두 벤치마크—ActivityNet과 YouCookII—에 아키텍처를 적용한다.

실험 결과

연구 질문

• RQ1 영상 캡션 생성에서 주의 메커니즘을 더 선택적으로 만들면 관련성 향상과 관련 없는 프레임에서 오는 노이즈 감소에 어떻게 기여할 수 있는가?
• RQ2 중요도의 다항 분포를 통해 프레임 조합을 모델링하면 표준 다중 헤드 주의보다 캡션 품질 향상에 기여할 수 있는가?
• RQ3 트랜스포머의 최종 레이어에 자기 인식 필터링 메커니즘을 도입하면 영상 캡션의 특징 조합과 표현 학습이 어떻게 향상되는가?
• RQ4 SACT 아키텍처는 다단계 영상 캡션 벤치마크에서 자동 평가 지표와 의미적 일관성 측면에서 기존 모델들을 얼마나 능가하는가?
• RQ5 주의와의 통합을 분리함으로써 성능 향상이 어떻게 이루어지는가? 이는 통합 주의 전략과 비교했을 때 어떤가?

주요 결과

• SACT는 ActivityNet 캡션 데이터셋에서 최신 기술 수준 성능을 달성하여 이전 방법들보다 BLEU-4 및 기타 표준 지표에서 뛰어난 성능을 보였다.
• YouCookII 데이터셋에서 SA s CT 변종(분리된 인식)은 SA j CT 변종(통합 인식)을 능가했으며, 주의 모델링을 위한 분리된 인식의 이점이 입증되었다.
• 이전 방법들보다 더 높은 BLEU-4 점수를 기록하여 생성된 캡션의 문법적 및 어휘적 일치도 향상됨을 나타냈다.
• 다항 주의(MultAtt)의 사용으로 주목할 만한 프레임 조합의 선택이 더 잘 이루어져 노이즈 감소와 주의 품질 향상이 이루어졌다.
• 자기 인식 메커니즘이 주로 긴 복잡한 영상 시퀀스에서 관련 특징에 집중함으로써 표현 학습을 크게 향상시켰다.
• 마스킹 프레임워크는 과적합을 방지하고 자동 회귀적 단어 의존성에 대한 의존도를 줄여 일반화 능력을 향상시켰다.