[논문 리뷰] Stacked Spatio-Temporal Graph Convolutional Networks for Action Segmentation

Pallabi Ghosh, Yi Yao외 2명|arXiv (Cornell University)|2018. 11. 26.

Human Pose and Action Recognition인용 수 6

한 줄 요약

이 논문은 다양한 노드(행위자, 물체, 환경 등)를 가변 길이의 기술자로 모델링하고, 큰 그래프 변형을 처리할 수 있도록 탄력적인 시간적 간선을 사용하여 장시간 영상에서 동작 분할을 위해 스택드-시공간 그래프 컨볼루션 네트워크(Stacked-STGCN)를 제안한다. 이를 통해 STGCN에 스택드 아워글라스 아키텍처를 통합하여 국소화 정확도와 일반화 능력을 향상시켰으며, I3D 특징을 사용할 때 CAD120에서 F1 점수 4.0% 향상, Charades에서 mAP 1.3% 향상 달성.

ABSTRACT

We propose novel Stacked Spatio-Temporal Graph Convolutional Networks (Stacked-STGCN) for action segmentation, i.e., predicting and localizing a sequence of actions over long videos. We extend the Spatio-Temporal Graph Convolutional Network (STGCN) originally proposed for skeleton-based action recognition to enable nodes with different characteristics (e.g., scene, actor, object, action, etc.), feature descriptors with varied lengths, and arbitrary temporal edge connections to account for large graph deformation commonly associated with complex activities. We further introduce the stacked hourglass architecture to STGCN to leverage the advantages of an encoder-decoder design for improved generalization performance and localization accuracy. We explore various descriptors such as frame-level VGG, segment-level I3D, RCNN-based object, etc. as node descriptors to enable action segmentation based on joint inference over comprehensive contextual information. We show results on CAD120 (which provides pre-computed node features and edge weights for fair performance comparison across algorithms) as well as a more complex real-world activity dataset, Charades. Our Stacked-STGCN in general achieves 4.0% performance improvement over the best reported results in F1 score on CAD120 and 1.3% in mAP on Charades using VGG features.

연구 동기 및 목표

• 행위자, 물체, 환경와 같은 다양한 맥락적 단서를 동시에 모델링하여 장시간 영상에서의 동작 분할을 향상시키기 위해.
• 가림, 검출 실패, 동적 변화로 인한 큰 그래프 변형을 탄력적인 시간적 간선 연결을 통해 다루기 위해.
• 그래프 컨volutional 네트워크에 적합하게 수정된 스택드 아워글라스 설계를 통해 국소화 정확도와 일반화 능력을 향상시키기 위해.
• 동일한 STGCN 프레임워크 내에서 길이가 다른 다양한 노드 기술자(예: VGG, I3D, RCNN)를 지원하기 위해.
• 다양한 모odal 맥락 정보를 동시에 추론하여 강건한 동작 인식 및 분할을 가능하게 하기 위해.

제안 방법

• STGCN을 다양한 유형의 노드(예: 행위자, 물체, 환경 등)와 가변 길이의 특징 기술자를 지원하도록 확장한다.
• 복잡한 활동 역동성을 모델링하고 큰 변형을 처리하기 위해 다단계 및 완전 연결 간선을 포함한 임의의 시간적 간선 연결을 도입한다.
• 각 인코더 단계에서 인접 행렬을 다운샘플링하여 특징 차원을 일치시키는 방식으로 STGCN에 스택드 아워글라스 아키텍처를 적응시킨다.
• 프레임 수준의 VGG, 세그먼트 수준의 I3D, RCNN 기반 물체 특징을 노드 기술자로 사용하여 맥락 표현을 풍부하게 한다.
• 다중 스케일 특징을 융합하는 그래프 기반 인코더-디코더 구조를 사용하여 국소화 정확도와 강건성을 향상시킨다.
• 공간적 및 시간적 관계, 특히 노드 간의 功能적 및 인과적 연결에 대해 학습된 간선 가중치를 적용한다.

실험 결과

연구 질문

• RQ1 일반화된 STGCN 프레임워크는 가변 길이 기술자를 가진 이질적인 노드를 효과적으로 모델링하여 동작 분할에 기여할 수 있는가?
• RQ2 탄력적인 시간적 간선 연결은 큰 그래프 변형을 겪는 장시간 영상 시퀀스에서 성능을 어떻게 향상시키는가?
• RQ3 스택드 아워글라스 아키텍처는 STGCN 기반 동작 분할에서 국소화 정확도와 일반화 능력을 어느 정도 향상시키는가?
• RQ4 다양한 노드 기술자(예: VGG, I3D, RCNN)가 시공간 그래프에서 동시에 추론될 때 성능 향상에 기여하는 정도는 어떠한가?
• RQ5 이질적 노드 유형 간의 공간적 간선 연결은 분할 정확도에 어떤 영향을 미치는가?

주요 결과

• Stacked-STGCN는 CAD120 데이터셋에서 최고 보고된 결과보다 F1 점수 4.0% 향상 달성.
• Charades 데이터셋에서 I3D 특징을 사용할 때, 최고 보고된 결과보다 mAP 1.3% 향상.
• VGG 특징을 사용할 경우, Charades에서 베이스라인 및 LSTM 기반 방법보다 mAP 2.4% 향상.
• I3D+Super-events(주의 메커니즘 사용)를 제외한 모든 이전 방법보다 성능이 뛰어남.
• 세그먼트 수준의 I3D 특징을 사용할 때 성능 향상이 가장 두드러지며, 이는 장거리 시간적 맥락의 이점을 반영함.
• 이질적 노드 유형 간의 공간적 간선(예: 행위자-물체)은 미미한 향상만 제공하며, 이는 고정 가중치 기반 간단한 모델링 방식 때문일 가능성 있음.