[논문 리뷰] Constraint and Union for Partially-Supervised Temporal Sentence Grounding

Chen Ju, Haicheng Wang외 6명|arXiv (Cornell University)|2023. 02. 20.

Multimodal Machine Learning Applications인용 수 7

한 줄 요약

이 논문은 주어진 문장에 해당하는 시점적 영역를 지정하는 부분적 감독 기반 시간 문장 지목(PTSG) 설정을 제안하며, 짧은 클립 또는 단일 프레임 레이블을 사용하여 주석 비용을 줄이면서도 높은 성능을 유지한다. 다중 모odal 표현 학습을 위한 4중 제약 조건 파이프라인과 부분적-전체 감독 간의 갭을 보완하기 위한 가짜 레이블링을 활용하는 부분-전체 통합(PFU) 프레임워크를 제안하여 Charades-STA와 ActivityNet Captions 데이터셋에서 최신 기준 성능을 달성한다.

ABSTRACT

Temporal sentence grounding aims to detect the event timestamps described by the natural language query from given untrimmed videos. The existing fully-supervised setting achieves great performance but requires expensive annotation costs; while the weakly-supervised setting adopts cheap labels but performs poorly. To pursue high performance with less annotation cost, this paper introduces an intermediate partially-supervised setting, i.e., only short-clip or even single-frame labels are available during training. To take full advantage of partial labels, we propose a novel quadruple constraint pipeline to comprehensively shape event-query aligned representations, covering intra- and inter-samples, uni- and multi-modalities. The former raises intra-cluster compactness and inter-cluster separability; while the latter enables event-background separation and event-query gather. To achieve more powerful performance with explicit grounding optimization, we further introduce a partial-full union framework, i.e., bridging with an additional fully-supervised branch, to enjoy its impressive grounding bonus, and be robust to partial annotations. Extensive experiments and ablations on Charades-STA and ActivityNet Captions demonstrate the significance of partial supervision and our superior performance.

연구 동기 및 목표

• 완전 감독 기반 시간 문장 지목(FTSG)의 높은 주석 비용 문제를 해결하면서도 약한 감독 기반 방법보다 성능을 향상시키기 위해.
• 각 쿼리에 대해 짧은 클립 또는 단일 프레임 레이블만 제공되는 새로운 부분적 감독 설정(PTSG)을 제안하여 비용과 성능의 균형을 이루기 위해.
• 내부 및 외부 샘플, 단일 및 다중 모달 제약 조건을 활용하여 다중 모달 표현 학습을 향상시키는 4중 제약 조건 파이프라인을 설계하기 위해.
• 완전 감독 브랜치를 활용해 가짜 레이블을 생성하고 개선하여 정밀도를 높이고 지목의 강건성을 향상시키는 부분-전체 통합(PFU) 프레임워크를 개발하기 위해.
• 다양한 레이블 분포와 데이터셋에 걸쳐 부분적 감독과 제안된 프레임워크의 효과를 입증하기 위해.

제안 방법

• 부분적 레이블에서 유도된 이벤트 마스크를 사용하여 샘플 내 이벤트-쿼리 정렬 및 이벤트-배경 분리가 이루어지는 4중 제약 조건 파이프라인을 적용하기 위해.
• 쿼리 유사도를 활용해 의미적으로 유사한 이벤트를 클러스터링하고, 대비 손실을 적용하여 클러스터 내 응집성과 클러스터 간 분리성을 향상시키기 위해.
• 이벤트 검출기로 부분적 레이블(예: 단일 프레임 또는 짧은 클립)을 완전한 이벤트 간격으로 확장하여 이벤트 마스크를 구축하기 위해.
• 완전 감독 브랜치에서 유도된 지도 정보를 활용해 가짜 레이블을 생성하고 개선함으로써 지도 보조 효과를 전달하는 부분-전체 통합(PFU) 프레임워크를 구현하기 위해.
• 이벤트 및 배경 특징을 더 잘 구분할 수 있도록 가우시안형 마스크 대신 플랫폼형 마스크를 사용하여 표현 품질을 향상시키기 위해.
• T-SNE 시각화를 통해 4중 제약 조건 파이프라인 적용 후 영상 특징이 클러스터 간 분리성과 클러스터 내 응집성을 향상시킴을 확인하기 위해.

실험 결과

연구 질문

• RQ1 짧은 클립 또는 단일 프레임 레이블을 사용하는 부분적 감독 설정이 주석 비용을 크게 줄이면서도 완전 감독 기반 TSG 성능에 근접할 수 있는가?
• RQ2 제한된 부분적 레이블을 활용해 다중 모달 표현을 효과적으로 형성할 수 있는가? 이는 지도 지목 정확도 향상에 기여하는가?
• RQ3 쿼리 유사도 기반 클러스터링과 같은 샘플 간 제약 조건이 부분적 감독 하에서 표현 학습에 어떤 역할을 하는가?
• RQ4 부분-전체 통합(PFU) 프레임워크가 부분적 감독과 완전 감독 간 격차를 효과적으로 메울 수 있는가? 완전 감독 방법의 장점을 활용할 수 있는가?
• RQ5 제안된 방법은 다양한 부분적 레이블 분포에 대해 얼마나 강건한가? 다른 데이터셋과 주석 패턴에 일반화되는가?

주요 결과

• 제안된 4중 제약 조건 파이프라인은 영상-쿼리 표현 대비 4.4%의 mIoU 향상을 달성하여 이벤트-쿼리 정렬 특징의 우수성을 입증한다.
• 짧은 클립 레이블(2초)을 앵커로 사용할 경우 단일 프레임 레이블보다 지도 지목 성능이 향상되며, 더 고품질의 가짜 레이블을 생성함을 확인했다.
• 플랫폼형 마스크는 가우시안형 마스크보다 성능이 뛰어나며, 마스크가 게이트 형태에 가까워질수록 성능 향상이 두드러져 이벤트-배경 특징의 구분이 더 우수함을 시사한다.
• PFU 프레임워크는 완전 감독 기반 베이스라인 성능에 근접한 결과를 달성했으며, Charades-STA 및 ActivityNet Captions에서 조차도 약간의 성능 저하(예: <1% mIoU)만을 보였다.
• 제거 실험 결과, 하드 네거티브 마이닝을 통한 샘플 간 제약 조건이 필수적임을 확인했으며, 이를 생략할 경우 표현이 자명한 해답으로 붕괴됨을 관찰했다.
• T-SNE 시각화 결과, 4중 제약 조건 파이프라인 적용 후 영상 특징이 명확한 클러스터 간 분리성과 클러스터 내 응집성을 보이며 의미적 표현 품질 향상을 입증했다.