[논문 리뷰] Bridge-Prompt: Towards Ordinal Action Understanding in Instructional Videos

Muheng Li, Lei Chen외 5명|arXiv (Cornell University)|2022. 03. 26.

Human Pose and Action Recognition인용 수 4

한 줄 요약

Bridge-Prompt는 문맥적 관계를 모델링하기 위해 순서화된 행동 간의 의미 관계를 통합된 텍스트 프롬프트를 통해 지도하는 프롬프트 기반 프레임워크를 제안한다. 이 프롬프트는 개별 행동의 의미와 그 순서를 모두 포함한다. 이러한 구조화된 프롬프트를 기반으로 비전 및 텍스트 인코더를 동시에 학습함으로써 대비 학습을 통해 GTEA, 50Salads, Breakfast 등의 행동 분할 및 인식 벤치마크에서 최신 기술 수준(SOTA)의 성능을 달성하며, 더 나은 문맥 이해력과 제로샷 전이 능력을 입증한다.

ABSTRACT

Action recognition models have shown a promising capability to classify human actions in short video clips. In a real scenario, multiple correlated human actions commonly occur in particular orders, forming semantically meaningful human activities. Conventional action recognition approaches focus on analyzing single actions. However, they fail to fully reason about the contextual relations between adjacent actions, which provide potential temporal logic for understanding long videos. In this paper, we propose a prompt-based framework, Bridge-Prompt (Br-Prompt), to model the semantics across adjacent actions, so that it simultaneously exploits both out-of-context and contextual information from a series of ordinal actions in instructional videos. More specifically, we reformulate the individual action labels as integrated text prompts for supervision, which bridge the gap between individual action semantics. The generated text prompts are paired with corresponding video clips, and together co-train the text encoder and the video encoder via a contrastive approach. The learned vision encoder has a stronger capability for ordinal-action-related downstream tasks, e.g. action segmentation and human activity recognition. We evaluate the performances of our approach on several video datasets: Georgia Tech Egocentric Activities (GTEA), 50Salads, and the Breakfast dataset. Br-Prompt achieves state-of-the-art on multiple benchmarks. Code is available at https://github.com/ttlmh/Bridge-Prompt

연구 동기 및 목표

• 장기 지침 영상에서 인접한 행동 간의 문맥적 관계를 포착하지 못하는 기존 행동 인식 모델의 한계를 해결하기 위해.
• 자연어가 시간적 순서와 관계적 의미를 표현할 수 있는 능력을 활용하여 순서화된 행동 시퀀스의 의미를 모델링하기 위해.
• 비전 및 텍스트 인코더를 동시에 학습시켜 맥락 외부 및 맥락 내부 행동 정보를 모두 활용하는 프롬프트 기반 학습 프레임워크를 개발하기 위해.
• 지침 영상 분석에서 행동 분할 및 장기 인간 활동 인식과 같은 후행 작업에서 성능을 향상시키기 위해.
• 사전 훈련된 언어 모델의 일반화 능력을 활용하여 유사한 활동 간에 제로샷 전이 가능성을 제공하기 위해.

제안 방법

• 행동 시퀀스에 대한 통합된 텍스트 지도를 제공하기 위해 통계적, 순서적, 의미적 정보를 통합한 3+1단계 텍스트 프롬프트 구조를 설계하기 위해.
• 공동 학습 중에 비디오 특징과 해당 텍스트 프롬프트를 교차 어텐션을 통해 정렬하는 비디오-텍스트 융합 모듈을 구축하기 위해.
• 비디오 및 프롬프트 표현 간의 의미적 일致성과 순서적 일치성을 기반으로 비디오 및 프롬프트 표현을 정렬하는 대비 학습 목표를 사용하여 비전 및 텍스트 인코더를 엔드 투 엔드로 훈련하기 위해.
• 정확성과 강건성을 동시에 최적화하기 위해 의미 손실($\mathcal{L}_{\text{sem}}$), 통합 의미 손실($\mathcal{L}_{\text{integ}}$), 통계 손실($\mathcal{L}_{\text{stat}}$)의 세 가지 손실 구성 요소를 통합하여 사용하기 위해.
• 대규모 사전 훈련을 통해 이점을 얻고 효과적인 소수 및 제로샷 일반화를 가능하게 하기 위해 사전 훈련된 비전 및 언어 모델(ViT 및 BERT 등)을 인코더로 활용하기 위해.
• 단지 텍스트 프롬프트만 수정함으로써 재학습 없이도 새로운 행동 유형에 대한 제로샷 추론을 가능하게 하기 위해 프롬프트 엔지니어링을 적용하기 위해.

실험 결과

연구 질문

• RQ1 구조화된 텍스트 프롬프트는 지침 영상에서 인접한 행동 간의 의미적 및 순서적 관계를 효과적으로 모델링할 수 있는가?
• RQ2 프롬프트에 순서적 및 맥락적 의미를 통합함으로써 단일 행동 분류를 넘어서 행동 인식 및 분할 성능가 향상되는 정도는 어느 정도인가?
• RQ3 프롬프트 기반 제로샷 전이를 통해 Bridge-Prompt 프레임워크가 새로운 행동 유형이나 유사 활동에 얼마나 잘 일반화되는가?
• RQ4 다양한 손실 구성 요소(의미, 통합 의미, 통계)가 프레임워크의 총합 성능에 기여하는 정도는 어느 정도인가?
• RQ5 그래프 기반 및 클래스-ID 기반 방법과 비교할 때 Bridge-Prompt는 벤치마크 데이터셋에서 확장성, 일반화 능력 및 성능 측면에서 어떤 차이를 보이는가?

주요 결과

• Bridge-Prompt는 GTEA 데이터셋에서 최신 기술 수준의 성능을 달성하여 F1@50 점수 91.0과 에디트 스코어 89.6을 기록하며 이전 방법들을 능가한다.
• 절단 실험을 통해 의미 손실, 통합 의미 손실, 통계 손실의 세 가지 손실 구성 요소 모두 성능 향상에 기여하며, 전체 손실 조합이 가장 우수한 성능을 내는 것으로 확인되었다.
• 프레임워크는 강력한 제로샷 전이 능력을 보이며, 예를 들어 커피 만들기에서 차 만들기로의 지식 전이 시 GTEA에서 상위-1 정확도 41.7%와 상위-5 정확도 81.3%를 달성한다.
• 그림 1에서 보듯이, 기존의 단일 행동 분류 기반 접근 방식이 놓치는 상호 행동 의미 관계를 Bridge-Prompt가 잘 포착하고 있음을 확인할 수 있다.
• 자연어 프롬프트의 사용은 빈도수 기반 클래스-ID 체계와 달리 새로운 행동 유형에 효과적으로 일반화할 수 있도록 한다.
• 철저히 설계된 프롬프트를 기반으로 한 대비 학습 전략은 비전 인코더가 더 rich하고 맥락적인 표현을 학습하도록 유도하여, 다양한 벤치마크에서 후행 작업 성능 향상에 기여한다.