[논문 리뷰] WSLLN: Weakly Supervised Natural Language Localization Networks

Mingfei Gao, Larry S. Davis외 2명|arXiv (Cornell University)|2019. 08. 31.

Multimodal Machine Learning Applications참고 문헌 39인용 수 5

한 줄 요약

WSLLN은 단말 시간 태그 없이 영상-문장 쌍만으로 훈련하는 약한 감독 딥 러닝 프레임워크를 제안한다. 이는 두 가지 브랜치로 구성된 엔드 투 엔드 아키텍처를 통해 세그먼트-텍스트 정렬과 시간적 세그먼트 선택을 동시에 최적화함으로써 ActivityNet Captions에서 32.2% mIoU로 최신 기술 수준의 성능을 달성하고, DiDeMo에서도 경쟁적인 성능을 보이며 최소한의 감독으로도 뛰어난 강건성과 효율성을 입증한다.

ABSTRACT

We propose weakly supervised language localization networks (WSLLN) to detect events in long, untrimmed videos given language queries. To learn the correspondence between visual segments and texts, most previous methods require temporal coordinates (start and end times) of events for training, which leads to high costs of annotation. WSLLN relieves the annotation burden by training with only video-sentence pairs without accessing to temporal locations of events. With a simple end-to-end structure, WSLLN measures segment-text consistency and conducts segment selection (conditioned on the text) simultaneously. Results from both are merged and optimized as a video-sentence matching problem. Experiments on ActivityNet Captions and DiDeMo demonstrate that WSLLN achieves state-of-the-art performance.

연구 동기 및 목표

• 세그먼트 수준의 시간 태그가 필요한 고비용 감독 훈련을 피하기 위해 시작/종료 시간 태그가 없는 영상-문장 쌍만으로도 훈련 가능한 모델을 개발하는 것.
• 영상-문장 쌍만을 사용하여 언어 로컬라이제이션 모델의 엔드 투 엔드 훈련을 가능하게 하여 데이터 수집 과정에서의 인간 노동을 줄이는 것.
• 세그먼트-텍스트 정렬과 시간적 세그먼트 선택을 동시에 최적화하여 약한 감독 하에서 자연어 로컬라이제이션 성능을 향상시키는 것.
• 단지 약한 감독만을 사용함에도 불구하고 감독 기반 방법과 경쟁 가능한 성능을 달성하는 것.

제안 방법

• WSLLN은 두 브랜치로 구성된 신경망을 사용한다: 한 브랜치는 시각적 세그먼트와 텍스트 쿼리 간의 정렬 점수를 계산하고, 다른 브랜치는 쿼리에 조건부로 시간적 세그먼트 선택을 수행한다.
• 학습 손실 함수는 영상-문장 매칭, 세그먼트-텍스트 일관성, 세그먼트 선택을 균형 있게 조정하는 복합 손실이며, 학습 가능한 가중치 계수 λ를 사용한다.
• 텍스트 임베딩에 조건부로 가역적인 top-k 선택 메커니즘을 통해 세그먼트 선택을 수행함으로써 엔드 투 엔드 훈련이 가능하다.
• 영상 수준의 감독만을 활용하여 양성 쌍을 정렬하고 부정 쌍을 억제하는 영상-문장 매칭 목적함수를 도입한다.
• 텍스트 컨텍스트를 기반으로 세그먼트 예측을 개선하는 정련 모듈을 통합하며, λ는 정렬 손실과 탐지 손실 간의 트레이드오프를 제어한다.
• 사전 미세조정 없이 BERT를 문장 인코딩에 사용하고, RGB 또는 옵티컬 플로우 입력에서 추출한 클립 수준 특징을 기반으로 동작한다.

실험 결과

연구 질문

• RQ1 세그먼트 수준의 시간 태그가 없이도 약한 감독 모델이 자연어 로컬라이제이션에서 뛰어난 성능을 달성할 수 있는가?
• RQ2 세그먼트-텍스트 정렬과 세그먼트 선택을 동시에 최적화하는 것이 약한 감독 환경에서 정확도 향상에 어떻게 기여하는가?
• RQ3 특히 두 브랜치 아키텍처의 설계가 약한 감독 로컬라이제이션에서 성능과 강건성에 미치는 영향은 무엇인가?
• RQ4 약한 감독을 사용할 때 문장 인코더 선택(예: BERT 대비 GRU)이 성능에 미치는 영향은 어떠한가?
• RQ5 ActivityNet Captions와 DiDeMo와 같은 표준 벤치마크에서 WSLLN은 약한 감독 및 강한 감독 기반 기준 모델과 비교해 어떻게 성능을 내는가?

주요 결과

• ActivityNet Captions에서 WSLLN은 세 번의 실행 평균 mIoU 32.2% ± 0.05를 기록하여 약한 감독 방법 중에서 매우 높은 강건성과 최신 기술 수준의 성능을 입증한다.
• IoU=0.1 기준 R@1 점수가 74.0%를 기록하여 WSDEC-W(약한 감독) 및 CTRL(강한 감독)를 포함한 모든 기준 모델을 앞서며, 다양한 IoU 임계값에서도 뛰어난 일반화 성능을 보였다.
• DiDeMo에서 WSLLN은 RGB 기반으로 19.4%의 R@1, 플로우 기반으로 18.4%의 R@1 성능을 기록하여 강한 감독 기반 LOR 모델(16.2% R@1)을 초월하고, 강한 감독 기반 MCN 모델(플로우 기반 25.8% R@1)에 가까운 성능을 달성했다.
• 절단 실험 결과 양 브랜치 모두 필수적임을 확인: 'Align-only' 및 'Detect-only' 기준 모델은 각각 13.4%와 13.6%의 mIoU를 기록하여 WSLLN에 비해 유의미하게 떨어졌다.
• 모델은 하이퍼파라미터 λ에 대해 강건하며, λ ∈ [0.1, 0.4] 범위에서 안정적인 성능을 유지한다. λ=0일 경우(정련 없음) 또는 λ=0.5일 경우(과도한 탐지 손실 가중치) 성능 저하가 발생했다.
• BERT를 GRU로 대체해도 성능은 유사하게 유지되며(mIoU 31.8% 대비 32.2%), 이는 아키텍처의 성능 향상이 BERT의 표현력에 기인한 것이 아니라는 것을 시사한다.