[논문 리뷰] Constructing Holistic Spatio-Temporal Scene Graph for Video Semantic Role Labeling
이 논문은 HostSG를 제시한다. 이는 비디오 시semantic 역할 라벨링(VidSRL)을 위한 holistic 시공간 장면 그래프이며, 미세한 공간 정보를 시간적 역학과 엔드-투-엔드 장면-이벤트 융합으로 결합하여 Verb 예측, SRL, 이벤트 관계 작업에서 VidSRL을 개선한다.
Video Semantic Role Labeling (VidSRL) aims to detect the salient events from given videos, by recognizing the predict-argument event structures and the interrelationships between events. While recent endeavors have put forth methods for VidSRL, they can be mostly subject to two key drawbacks, including the lack of fine-grained spatial scene perception and the insufficiently modeling of video temporality. Towards this end, this work explores a novel holistic spatio-temporal scene graph (namely HostSG) representation based on the existing dynamic scene graph structures, which well model both the fine-grained spatial semantics and temporal dynamics of videos for VidSRL. Built upon the HostSG, we present a nichetargeting VidSRL framework. A scene-event mapping mechanism is first designed to bridge the gap between the underlying scene structure and the high-level event semantic structure, resulting in an overall hierarchical scene-event (termed ICE) graph structure. We further perform iterative structure refinement to optimize the ICE graph, such that the overall structure representation can best coincide with end task demand. Finally, three subtask predictions of VidSRL are jointly decoded, where the end-to-end paradigm effectively avoids error propagation. On the benchmark dataset, our framework boosts significantly over the current best-performing model. Further analyses are shown for a better understanding of the advances of our methods.
연구 동기 및 목표
- 비디오에서 미세한 공간 의미론과 시간적 역 dynamics를 포착하기 위해 VidSRL를 고무한다.
- HostSG를 제안하여 프레임별 동적 장면 그래프를 비디오-전반의 시공간 그래프으로 통합한다.
- 장면 구조와 고수준 이벤트 의미를 ICE 그래프를 통한 scene-이벤트 매핑으로 연결한다.
- 그래프 정보 병목(Graph Information Bottleneck)으로 ICE 그래프를 반복적으로 정제하여 표현을 엔드-태스크 예측과 정렬한다.
- 엔드-투-엔드 프레임워크에서 verb 예측, 인자 생성, 이벤트 관계를 공동으로 디코딩한다.
제안 방법
- HostSG를 각 클립의 DSG를 생성하고 이를 Temporal DSG(TSG)로 합친 다음 크로스-클립 코어퍼런스 엣지로 클립 간 연결한다.
- HostSG의 장면 노드를 이벤트 술어-주체 노드와 연결해 ICE를 형성하고 장면 구조를 이벤트 의미에 맞추어 정렬한다.
- 스페이시오-템포럴 ICE에서 멀티패스 Graph Attention Network를 이용해 프레임 내 공간 업데이트를 수행하고 GGNN으로 이벤트의 시간적 진화를 진행한다.
- 그래프 정보 병목 목적함수로 ICE 구조와 엣지 가중치를 반복적으로 정제하여 노이즈 엣지를 가지치면서 엔드-태스크에 관련된 정보를 보존한다.
- MLP 헤드를 통해 verb 예측과 이벤트 관계를 jointly 디코딩하고, Transformer 디코더를 통해 인자 생성을 수행하며 ICE 표현을 모두 활용한다.
실험 결과
연구 질문
- RQ1holistic한 시공간 장면 그래프(HostSG)가 VidSRL을 위해 프레임 수준 특징보다 미세한 공간 및 시간적 단서를 더 잘 포착할 수 있는가?
- RQ2호스트SG를 이벤트 수준 ICE 그래프로 연결하면 교차 이벤트 모델링과 장기 의존성을 VidSRL에서 개선하는가?
- RQ3그래프 정보 병목으로 안내된 반복적 구조 정제가 엔드-태스크 예측을 향상시키고 노이즈 있는 구조를 억제하는가?
- RQ4엔드-투-엔드로 verb, 인자, 이벤트 관계를 공동 디코딩하는 것이 파이프라인 또는 부분적으로 공동화된 접근보다 성능이 우수한가?
주요 결과
- HostSG와 ICE의 반복적 정제는 VidSRL 벤치마크에서 다수의 지표에 대해 SoTA보다 유의한 향상을 제공한다.
- 변수분해에 따른 분석에서 장면 그래프 특징이 verb 분류, SRL, 인자 생성을 가장 크게 기여하고, 장면-이벤트 매핑과 정제가 상당한 상승을 제공한다.
- 크로스-클립 코어퍼런스 엣지가 성능을 개선하여 시간적 일관성에 대한 크로스-프레임 연결의 중요성을 강조한다.
- 장면-이벤트 매핑은 저수준 장면 그래프와 고수준 이벤트 의미 사이의 간극을 메우고 교차 이벤트 객체 연관을 가능하게 하여 예측을 향상시킨다.
- 엔드-투-엔드 공동 디코딩은 파이프라인 접근의 오류 전파를 피하고 전반적인 VidSRL 점수를 더 좋게 달성한다.
이 논문 읽기
누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.
누빈트에서 이 논문 읽기이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.