[논문 리뷰] Embracing Uncertainty: Decoupling and De-bias for Robust Temporal Grounding

Hao Zhou, Chongyang Zhang외 3명|arXiv (Cornell University)|2021. 03. 31.

Multimodal Machine Learning Applications참고 문헌 48인용 수 7

한 줄 요약

이 논문은 DeNet을 제안하며, 언어 쿼리를 관계(명사/동사 기반) 및 수정(형용사/副사 기반) 특징으로 분리하여 쿼리 불확실성을 다루고, 샘플링과 다중 선택 학습을 통한 탈편향 메커니즘을 적용하여 레이블 불확실성 하에서 다양한 예측을 생성함으로써 강건한 시계열 기반을 구현한다. DeNet은 Charades-STA 및 ActivityNet Captions에서 최신 기준 성능을 달성하며, 명시적 불확실성 모델링을 통해 개선된 강건성과 일반화 능력을 입증한다.

ABSTRACT

Temporal grounding aims to localize temporal boundaries within untrimmed videos by language queries, but it faces the challenge of two types of inevitable human uncertainties: query uncertainty and label uncertainty. The two uncertainties stem from human subjectivity, leading to limited generalization ability of temporal grounding. In this work, we propose a novel DeNet (Decoupling and De-bias) to embrace human uncertainty: Decoupling - We explicitly disentangle each query into a relation feature and a modified feature. The relation feature, which is mainly based on skeleton-like words (including nouns and verbs), aims to extract basic and consistent information in the presence of query uncertainty. Meanwhile, modified feature assigned with style-like words (including adjectives, adverbs, etc) represents the subjective information, and thus brings personalized predictions; De-bias - We propose a de-bias mechanism to generate diverse predictions, aim to alleviate the bias caused by single-style annotations in the presence of label uncertainty. Moreover, we put forward new multi-label metrics to diversify the performance evaluation. Extensive experiments show that our approach is more effective and robust than state-of-the-arts on Charades-STA and ActivityNet Captions datasets.

연구 동기 및 목표

• 시계열 기반에서 쿼리 불확실성과 레이블 불확실성의 이중적 과제를 해결하여 모델의 일반화 능력을 향상시키기 위해.
• 학습 과정에서 불확실성을 명시적으로 수용하여 인간의 주관성인 언어 표현과 시계열 주석을 모델링하기 위해.
• 다수의 인간 주석 경계와 일치하는 다각적이고 타당한 예측을 생성하여 단일 스타일 주석으로 인한 편향을 줄이기 위해.
• 각 쿼리에 대해 다수의 주석이 존재하는 데이터셋에 적합한 새로운 다중 레이블 평가 지표를 개발하기 위해.
• 실세계의 개방형 어휘 환경에서 시계열 기반 모델의 강건성과 일반화 능력을 향상시키기 위해.

제안 방법

• 품사 태깅(POS tagging)을 사용하여 각 언어 쿼리를 두 가지 별개의 특징으로 분해: 관계 특징(명사, 동사)은 일관되고 구분 가능한 정보를 제공하고, 수정 특징(형용사, 부사)은 주관적이고 개인화된 표현을 제공한다.
• 수정 특징을 잠재 공간에서 정규 분포로 인코딩하여 확률적 샘플링을 가능하게 하고, 다각적인 쿼리 표현을 생성한다.
• 다중 선택 학습(MCL)의 최소 손실 목표를 활용한 탈편향 메커니즘을 도입하여, 단일 스타일 주석으로 학습된 경우에도 다중 출력 브랜치를 다각적인 예측을 위해 최적화한다.
• 이중 헤드 회귀 헤드를 사용: 하나는 시작-종료 경계를 예측하고, 다른 하나는 중심-폭을 예측하며, 장거리 의존성 모델링을 위해 공유된 시계열 블록을 활용한다.
• 추론 시 클러스터링을 적용하여 다수의 예측을 하나의 다각적이고 타당한 예측 세트로 통합하여 다수의 인간 주석과 일치시킨다.
• 다중 레이블 지표(예: R@5, IoU=0.5)를 도입하여 다수의 참조 경계가 존재하는 상황에서 성능 평가의 공정성을 확보한다.

실험 결과

연구 질문

• RQ1 동일한 이벤트에 대해 다양한 언어 표현이 발생하는 쿼리 불확실성을 효과적으로 모델링할 수 있는가?
• RQ2 학습 데이터의 단일 스타일 주석으로 인한 예측 편향을 어떻게 완화할 수 있는가?
• RQ3 다수의 인간 주석 경계와 일치하는 다각적이고 타당한 예측을 생성할 수 있는가?
• RQ4 관계 특징과 수정 특징의 명시적 분리가 시계열 기반에서의 강건성 향상에 어떻게 기여하는가?
• RQ5 새로운 다중 레이블 지표가 레이블 불확실성이 존재하는 상황에서 모델 성능을 더 잘 반영하는가?

주요 결과

• DeNet은 Charades-STA에서 R@1 59.70% 및 R@5, IoU=0.5 64.04%를 기록하여 최신 기준 기법들을 능가한다.
• ActivityNet Captions에서는 R@1 58.12% 및 R@5, IoU=0.5 61.76%를 달성하여 다양한 데이터셋 간 강력한 일반화 능력을 입증한다.
• 제거 실험 결과, POS 기반 분리가 성능 향상에 크게 기여하며, DeNet w/o PoS 대비 R@1에서 1.25% 향상되었다.
• 수정 특징을 정규 분포로 인코딩한 DeNet은 관계 특징을 인코딩한 DeNet-Relation 대비 더 높은 다양성을 보이며, R@5, IoU=0.5에서 1.92% 향상되었다.
• 최소 손실 목표를 제거한 DeNet w/o min-loss는 R@5, IoU=0.5에서 22.13% 감소하여, 다중 예측 학습을 위한 필수 요소임을 확인했다.
• 최적의 아키텍처는 Charades-STA에선 3개의 시계열 블록 스택, ActivityNet Captions에선 4개의 시계열 블록 스택을 사용하며, 모델링 능력과 과적합 사이의 상충 관계를 반영한다.