[논문 리뷰] Not All Words are Equal: Video-specific Information Loss for Video Captioning

Jiarong Dong, Ke Gao외 4명|arXiv (Cornell University)|2019. 01. 01.

Multimodal Machine Learning Applications참고 문헌 26인용 수 3

한 줄 요약

이 논문은 영상 자동 번역에서 일반 단어에 대한 편향을 줄이기 위해 단어의 중요도에 따라 교차 엔트로피 손실을 동적으로 조정하는 새로운 학습 전략인 Information Loss를 제안한다. 계층적 어텐션 메커니즘과 다중 수준의 시각적 특징과 결합하여, 이 방법은 최신 기술 수준의 성능을 달성하며, MSVD에서 CIDER 점수를 18.2% 향상시켜 87.5를 기록하고, MSR-VTT에서는 47.7을 달성한다.

ABSTRACT

An ideal description for a given video should fix its gaze on salient and representative content, which is capable of distinguishing this video from others. However, the distribution of different words is unbalanced in video captioning datasets, where distinctive words for describing video-specific salient objects are far less than common words such as 'a' 'the' and 'person'. The dataset bias often results in recognition error or detail deficiency of salient but unusual objects. To address this issue, we propose a novel learning strategy called Information Loss, which focuses on the relationship between the video-specific visual content and corresponding representative words. Moreover, a framework with hierarchical visual representations and an optimized hierarchical attention mechanism is established to capture the most salient spatial-temporal visual information, which fully exploits the potential strength of the proposed learning strategy. Extensive experiments demonstrate that the ingenious guidance strategy together with the optimized architecture outperforms state-of-the-art video captioning methods on MSVD with CIDEr score 87.5, and achieves superior CIDEr score 47.7 on MSR-VTT. We also show that our Information Loss is generic which improves various models by significant margins.

연구 동기 및 목표

• 영상 자동 번역 데이터셋에서 단어 빈도 분포의 불균형 문제를 해결하여, 일반 단어가 학습 손실을 지배하는 현상을 완화한다.
• 정보성과 희귀도가 높은 특징을 가진 비디오 전용 객체에 대한 인식 오류와 세부 정보 부족 문제를 줄이기 위해, 유의미한 희귀 단어에 집중하는 학습 전략을 개발한다.
• 아키텍처 변경 없이 다양한 모델에 적용 가능한 일반적인 학습 전략을 개발한다.
• 개선된 손실 함수와 어텐션 메커니즘을 통해 중요한 시각적 콘텐츠에 초점을 맞춰 영상 자동 번역 품질을 향상시킨다.

제안 방법

• 정보의 중요도(정보 관련성과 정보 내용의 곱으로 정의됨)에 따라 단어를 재가중하는 동적 손실 함수인 Information Loss를 제안한다.
• 단어의 정보 관련성을 해당 단어의 임bedding과 영상의 전체 의미 표현 간 코사인 유사도로 계산한다.
• 정보 내용을 단어 빈도의 역수로 정의하여 희귀 단어에 더 높은 가중치를 주어 그 구분 능력을 강조한다.
• 프레임 수준와 영상 수준의 시각적 특징을 처리하는 계층적 어텐션 메커니즘에 Information Loss를 통합하여 공간-시간 표현을 향상시킨다.
• 시간과 공간을 모두 고려한 중요 시각적 특징을 추출하고 집계하기 위해 이중 레이어 LSTM 아키텍처에 계층적 어텐션을 적용한다.
• γ(관련성과 내용 간 균형을 조절하는 데 사용)와 λ(손실 가중치 강도를 조절하는 데 사용)의 두 하이퍼파rameter를 최적화하여 손실 함수를 조정한다.

실험 결과

연구 질문

• RQ1 영상 자동 번역 데이터셋에서 단어의 빈도 불균형이 희귀하고 중요한 시각적 개념에 대한 모델 성능에 어떤 영향을 미치는가?
• RQ2 특징이 뚜렷하고 정보성 높은 단어를 우선순위로 삼는 동적 손실 함수가 번역 품질 향상과 모호성 감소에 기여하는가?
• RQ3 아키텍처 수정 없이 Information Loss가 다양한 영상 자동 번역 모델의 성능을 얼마나 향상시킬 수 있는가?
• RQ4 계층적 시각적 표현과 어텐션 메커니즘이 모델이 중요한 영상 콘텐츠에 집중하는 능력을 어떻게 향상시키는가?
• RQ5 손실 함수에서 관련성과 내용을 균형 있게 조절하기 위한 최적의 하이퍼파rameter 설정(γ와 λ)은 무엇인가?

주요 결과

• 제안된 HA_IL 모델은 MSVD에서 CIDEr 점수 87.5를 기록하여 기존 최신 기술 수준의 방법보다 18.2% 상대적 향상률을 달성한다.
• MSR-VTT에서 모델은 CIDEr 점수 47.7을 기록하여, 경쟁 모델보다 더 적은 특징을 사용함에도 불구하고 강력한 일반화 능력을 보여준다.
• 질적 예시를 통해 모델이 '슬램 덩크'나 '깨는 소리'와 같은 희귀 동작을 정확히 식별함으로써 기술적 모호성이 크게 감소함을 확인할 수 있다.
• Information Loss는 일반화 가능하다: 다양한 기본 모델(다른 어텐션 메커니즘과 특징 유형을 사용)에 적용하여 성능 향상을 이룬다.
• 제거 실험 결과, γ=2와 λ=0.5가 정보 중요도 계산에서 관련성과 내용을 균형 있게 조절하는 데 최적임을 입증하였다.
• 시각화 결과, 작은 크기나 먼 거리에 있는 객체일지라도 모델이 효과적으로 중요한 시각적 영역에 집중하고 있음을 확인할 수 있다.