[논문 리뷰] Exploiting Long-Term Dependencies for Generating Dynamic Scene Graphs

Shengyu Feng, Subarna Tripathi외 3명|arXiv (Cornell University)|2021. 12. 18.

Human Pose and Action Recognition인용 수 4

한 줄 요약

이 논문은 객체 수준의 트랙릿을 통해 장기적인 시간적 의존성을 활용하고, 객체 일관성과 관계 역학을 모델링하기 위한 전용 트랜스포머 두 개를 사용하는 동적 시나리오 그래프 검출 트랜스포머인 DSG-DETR를 제안한다. Action Genome에서 기존 방법들을 크게 능가하는 최신 기술 성능을 달성하며, 참조 객체 트랙을 사용하여 추정한 상한 성능에 가까이 다가선다.

ABSTRACT

Dynamic scene graph generation from a video is challenging due to the temporal dynamics of the scene and the inherent temporal fluctuations of predictions. We hypothesize that capturing long-term temporal dependencies is the key to effective generation of dynamic scene graphs. We propose to learn the long-term dependencies in a video by capturing the object-level consistency and inter-object relationship dynamics over object-level long-term tracklets using transformers. Experimental results demonstrate that our Dynamic Scene Graph Detection Transformer (DSG-DETR) outperforms state-of-the-art methods by a significant margin on the benchmark dataset Action Genome. Our ablation studies validate the effectiveness of each component of the proposed approach. The source code is available at https://github.com/Shengyu-Feng/DSG-DETR.

연구 동기 및 목표

• 장기적인 시간적 의존성을 캡처함으로써 영상에서의 동적 시나리오 그래프 생성 성능 향상 여부를 조사하는 것.
• 참조 객체 트랙을 사용한 상한 성능를 기반으로 장기적 일관성의 성능 향상 정도를 정량화하는 것.
• 참조 트랙이 제공되지 않는 상황에서 예측된 객체 트랙릿을 활용해 근사 최적의 성능를 달성하는 방법을 개발하는 것.
• 장기적인 시퀀스에서 객체 일관성과 관계 전이 역학을 함께 모델링함으로써 시나리오 그래프 예측 정확도 향상 여부를 입증하는 것.

제안 방법

• 예측된 검출 결과를 프레임 간에 할당하여 객체 수준의 트랙릿을 온라인으로 구성함으로써 시간적 일관성을 확보한다.
• 사인파형 위치 인코딩을 사용한 트랜스포머 인코더를 활용해 트랙릿 간 객체 표현의 장기적 의존성을 모델링한다.
• 시간에 따른 주어진-목적어 관계 클래스의 전이를 모델링하기 위해 별도의 트랜스포머 인코더를 사용하며, STTran의 시간적 디코더를 시간적 인코더로 대체한다.
• 객체 트랜스포머에 시간적 위치 임베딩을 통합하여 순차적 객체 정체성의 모델링을 향상시킨다.
• 객체 및 관계 트랜스포머를 통합하여 장거리 시간적 맥락을 활용해 예측을 공동으로 개선한다.
• Action Genome 데이터셋에서 검출 및 시나리오 그래프 생성 손실을 통합하여 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 객체 및 관계 시퀀스에서 장기적인 시간적 의존성을 모델링하면 동적 시나리오 그래프 생성 성능가 크게 향상되는가?
• RQ2 참조 객체 트랙을 사용한 상한 성능를 기반으로 장기적 일관성의 성능 향상 정도는 얼마나 되는가?
• RQ3 예측된 트랙릿을 기반으로 훈련된 모델이 이 상한 성능에 근접한 성능를 달성할 수 있는가?
• RQ4 장기적인 시퀀스에서 객체 일관성과 관계 역학을 모두 캡처하면 단기 모델링보다 더 나은 일반화 성능를 얻을 수 있는가?

주요 결과

• DSG-DETR는 Action Genome 벤치마크에서 기존 방법들을 크게 능가하는 최신 기술 성능를 달성하며, SGCls 및 SGDet 평가 설정 모두에서 뛰어난 성능를 보였다.
• 참조 객체 트랙을 사용한 가상의 최상의 경우 성능는 현재 방법들보다 뚜렷한 성능 향상을 보이며, 장기적 의존성의 중요성을 입증한다.
• DSG-DETR는 이 상한 성능에 근접함으로써 장기적 의존성이 향상된 동적 시나리오 그래프 생성의 핵심 요소임을 입증한다.
• 절단 실험 결과, 위치 인코딩을 적용한 객체 트랜스포머가 제약 조건 하에서 R@K를 0.2점 향상시키며, 장기적 모델링을 적용한 관계 트랜스포머가 STTran 대비 0.3점 향상됨을 확인하였다.
• 장기적 시간적 맥락은 기준 모델 대비 3–6점 향상시키지만, 단기적 맥락은 3–4점에 그치며, 장거리 모델링의 결정적 역할을 입증한다.
• 정성적 결과에서는 DSG-DETR가 잘못 분류된 객체(예: '접시'를 '음식'으로 오분류)를 올바르게 복구하고, 가림 및 운동 상황에서도 일관된 예측을 유지하는 반면, STTran 및 Faster R-CNN는 이를 수행하지 못함을 확인하였다.