[논문 리뷰] Cross-Modal and Hierarchical Modeling of Video and Text

Bowen Zhang, Hexiang Hu외 1명|arXiv (Cornell University)|2018. 10. 16.

Multimodal Machine Learning Applications참고 문헌 4인용 수 8

한 줄 요약

이 논문은 계층적 구조—로컬 수준의 클립/문장과 글로벌 수준의 영상/단락을 활용하여 영상과 텍스트 표현을 공동으로 학습하는 크로스모달 모델인 계층적 시퀀스 임베딩(HSE)을 제안한다. 대응 클립과 문장을 대비 손실을 통해 강제로 연결하고 계층별 재구성 기법을 사용함으로써, 영상-텍스트 검색, 제로샷 동작 인식, 영상 캡셔닝에서 최신 기준 성능을 달성하며, CIDEr 점수와 제로샷 전이 정확도에서 뚜렷한 향상을 이룬다.

ABSTRACT

Visual data and text data are composed of information at multiple granularities. A video can describe a complex scene that is composed of multiple clips or shots, where each depicts a semantically coherent event or action. Similarly, a paragraph may contain sentences with different topics, which collectively conveys a coherent message or story. In this paper, we investigate the modeling techniques for such hierarchical sequential data where there are correspondences across multiple modalities. Specifically, we introduce hierarchical sequence embedding (HSE), a generic model for embedding sequential data of different modalities into hierarchically semantic spaces, with either explicit or implicit correspondence information. We perform empirical studies on large-scale video and paragraph retrieval datasets and demonstrated superior performance by the proposed methods. Furthermore, we examine the effectiveness of our learned embeddings when applied to downstream tasks. We show its utility in zero-shot action recognition and video captioning.

연구 동기 및 목표

• 공유된 의미 공간에서 계층적이고 다중 해상도의 영상 및 텍스트 데이터를 모델링하는 데 도전하는 것.
• 로컬 수준(클립/문장)과 글로벌 수준(영상/단락)에서의 대응 관계를 명시적으로 모델링하여 크로스모달 검색 및 생성 성능을 향상시키는 것.
• 액션 전용 학습 데이터에 접근하지 못하더라도 사전 훈련된 임베딩을 활용해 효과적인 제로샷 전이를 가능하게 하는 것.
• 클립-문장 애너테이션을 필요로 하지 않고 영상-단락 쌍만 존재하는 경우에도 작동하는 통합 학습 프레임워크를 개발하는 것.

제안 방법

• HSE는 영상 및 텍스트 시퀀스를 로컬 수준의 클립과 문장, 글로벌 수준의 영상과 단락에서 다중 해상도로 인코딩하기 위해 계층적 RNN 아키텍처(예: GRUs)를 사용한다.
• 유사한 의미를 가진 클립과 문장의 임베딩을 공유된 로컬 의미 공간에서 정렬하기 위해 대비 손실을 도입하여, 의미적으로 매칭된 단위가 임베딩 공간에서 가까이 위치하도록 보장한다.
• 각 수준에서 구조적 정보를 유지하기 위해 계층별 재구성 손실을 적용하여 학습된 표현의 품질을 향상시킨다.
• 전체 계층적 임베딩 공간의 일관성을 향상시키기 위해 글로벌(영상-단락) 및 로컬(클립-문장) 대응을 동시에 최적화한다.
• 로컬 수준의 대응 관계를 유추하기 위한 미분 가능한 라우팅 메커니즘을 사용하여, 영상-단락 쌍만 존재하는 약한 지도 학습 환경에서도 학습이 가능하도록 프레임워크를 확장한다.
• 다운스트림 평가 중에 미세조정 없이 사전 훈련된 단어 벡터(GloVe)와 영상 클립 특징을 입력으로 사용한다.

실험 결과

연구 질문

• RQ1 평탄한 시퀀스 모델링 대비 계층적 영상 및 텍스트 모델링이 크로스모달 검색 성능 향상에 기여하는가?
• RQ2 클립과 문장 간의 대응 관계를 강제로 설정하면 글로벌 수준의 영상 및 단락 임베딩 품질이 향상되는가?
• RQ3 학습된 로컬 임베딩이 액션 전용 학습 데이터에 접근하지 못하더라도 제로샷 동작 인식에 일반화 가능한가?
• RQ4 영상 캡셔닝에서 제안된 방법은 특히 밀도 높은 캡셔닝에 최적화된 모델과 비교해 어떻게 성능을 내는가?
• RQ5 클립-문장 애너테이션이 명시적으로 제공되지 않는 약한 지도 학습 환경에서도 모델이 일반화 가능한가?

주요 결과

• HSE는 MSVD 데이터셋에서 CIDEr 점수 124.8을 기록하여, 캡셔닝에 최적화되지 않은 상태에서도 이전의 모든 방법들—LSTM-YT, S2VT, HRNN—을 능가하는 영상-텍스트 검색에서 최신 기준 성능을 달성한다.
• ActivityNet에서 제로샷 동작 인식을 수행한 결과, HSE는 평균 mAP 0.481을 기록하여 기준 모델 FSE를 크게 앞서며, FV-VAE와 같은 완전히 지도 학습된 모델의 성능과도 맞먹는다.
• 모델는 뛰어난 일반화 능력을 보이며, HSE [τ=0]과 HSE 모두 제로샷 및 분류 설정에서 FSE를 뛰어넘는 성능을 보여, 계층적 모델링이 로컬 및 글로벌 표현 모두를 향상시킨다는 것을 입증한다.
• t-SNE 시각화 결과 HSE 임베딩은 행동 클래스별로 군집되어 있음을 확인하여, 학습된 임베딩 공간에 의미 구조가 유지됨을 보여준다.
• 사전 훈련된 영상 임베딩의 미세조정이 성능 향상에 기여하지 않음을 확인하여, 사전 훈련된 표현이 다운스트림 작업에 매우 효과적임을 시사한다.