[논문 리뷰] Weakly Supervised Temporal Adjacent Network for Language Grounding

Yuechen Wang, Jiajun Deng외 2명|arXiv (Cornell University)|2021. 06. 30.

Multimodal Machine Learning Applications참고 문헌 62인용 수 11

한 줄 요약

이 논문은 다중 인스턴스 학습(MIL) 문제로 접근하는 새로운 프레임워크인 약한 감독 시간적 인접 네트워크(WSTAN)를 제안한다. 이는 개별 쿼리가 아닌 전체 문단 수준의 묘사 정보를 사용하여 시간적 언어 기반 태깅(task)을 정의한다. 시간적 인접 네트워크, 가짜 감독을 갖는 보완 브랜치, 그리고 자기 구분 손실을 통해 WSTAN은 교차 모odal 정렬과 시간적 정밀도를 향상시키며, 시간 경계 레이블이 필요 없이도 세 가지 벤치마크 데이터셋에서 최신 기준 성능을 달성한다.

ABSTRACT

Temporal language grounding (TLG) is a fundamental and challenging problem for vision and language understanding. Existing methods mainly focus on fully supervised setting with temporal boundary labels for training, which, however, suffers expensive cost of annotation. In this work, we are dedicated to weakly supervised TLG, where multiple description sentences are given to an untrimmed video without temporal boundary labels. In this task, it is critical to learn a strong cross-modal semantic alignment between sentence semantics and visual content. To this end, we introduce a novel weakly supervised temporal adjacent network (WSTAN) for temporal language grounding. Specifically, WSTAN learns cross-modal semantic alignment by exploiting temporal adjacent network in a multiple instance learning (MIL) paradigm, with a whole description paragraph as input. Moreover, we integrate a complementary branch into the framework, which explicitly refines the predictions with pseudo supervision from the MIL stage. An additional self-discriminating loss is devised on both the MIL branch and the complementary branch, aiming to enhance semantic discrimination by self-supervising. Extensive experiments are conducted on three widely used benchmark datasets, \emph{i.e.}, ActivityNet-Captions, Charades-STA, and DiDeMo, and the results demonstrate the effectiveness of our approach.

연구 동기 및 목표

• 완전 감독 하에서의 높은 주석 비용 문제를 해결하기 위해, 시간 경계 레이블 없이 영상 수준의 묘사만으로 학습이 가능하도록 하는 것.
• 기존 방법이 시간적 분별 능력이 부족한 약한 감독 환경에서, 텍스트와 영상 콘텐츠 간의 교차 모달 의미 정렬을 향상시키는 것.
• 시간적 맥락을 모델링하고 가짜 감독을 갖는 보완 브랜치를 통해 예측을 보완함으로써 국소화 정밀도를 향상시키는 것.
• 일반적인 주석이 최소한인 실세계 데이터에까지 적용 가능한, 굵은 영상 스크립트를 약한 감독으로 사용할 수 있는지 탐색하는 것.

제안 방법

• 약한 감독 하에서의 시간적 언어 기반 태깅을 다중 인스턴스 학습(MIL) 문제로 재정의하여, 후보 영상 세그먼트를 백에, 텍스트 문단을 인스턴스로 간주한다.
• 등간격으로 분할된 영상 클립에서 2차원 점수 맵을 구성하며, 각 요소는 클립 i에서 j까지의 후보 시간 세그먼트를 나타내어 시간 관계를 모델링할 수 있도록 한다.
• MIL 프레임워크 내부에 시간적 인접 네트워크를 도입하여 영상 세그먼트 간의 순차적 의존성을 활용하고, 문단 수준의 텍스트 입력과의 정렬을 향상시킨다.
• 중간 결과로부터 생성된 가짜 레이블을 사용해 MIL 브랜치의 예측을 보완하는 보완 브랜치를 도입하여 의미적 희소성을 감소시킨다.
• MIL 브랜치와 보완 브랜치 양쪽에 자기 구분 손실을 적용하여 의미적으로 풍부한 영상 세그먼트에 초점을 맞춰 시간적 분별 능력을 향상시킨다.
• 학습 중 보조 신호의 불확실성을 줄이기 위해 임계값을 적용한 가짜 레이블(o_max=1.0, o_min=0.9)을 사용한다.

실험 결과

연구 질문

• RQ1 단일 쿼리 입력 대비 문단 수준의 텍스트 입력이 약한 감독 하에서 시간적 언어 기반 태깅의 교차 모달 정렬 및 국소화 성능을 향상시키는가?
• RQ2 보완 브랜치는 초기 매칭에서 뚜렷하지 않은 의미적으로 유의미한 클립을 발견하고 MIL 예측을 얼마나 효과적으로 보완하는가?
• RQ3 자기 구분 손실은 소형 물체나 자세와 같은 핵심 의미적 콘텐츠에 초점을 맞춰 시간적 정밀도를 얼마나 향상시키는가?
• RQ4 WSTAN은 복잡한 문법을 가진 영상 수준의 스크립트를 약한 감독으로 사용할 수 있는가? 성능 저하 없이 일반화 가능한가?

주요 결과

• WSTAN은 시간 경계 레이블이 필요 없이도 세 가지 벤치마크 데이터셋(Charades-STA, ActivityNet-Captions, DiDeMo)에서 최신 기준 성능을 달성한다.
• 문단 입력 설계가 대부분의 지표에서 성능 향상을 이끌어내었으며, 집합된 텍스트 입력이 영상 간 의미적 부분 유사성에 기인한 노이즈를 감소시킨다는 점을 입증한다.
• 보완 브랜치는 국소화 정밀도를 크게 향상시키며, 정성적 결과에서 기반 모델이 놓친 'off'와 같은 미세한 의미적 개념까지 탐지함을 보여준다.
• 자기 구분 손실은 특히 R@1 성능 향상에 기여하며, 보완 브랜치의 가짜 레이블 임계값은 주로 R@5 성능에 영향을 미친다.
• WSTAN은 영상 스크립트를 약한 감독으로 사용해도 잘 일반화되며, 표준 묘사 입력과 유사한 성능을 달성하여 실용적이고 자원이 제한된 환경에서의 강건성을 입증한다.