[논문 리뷰] Boundary Content Graph Neural Network for Temporal Action Proposal Generation

Yueran Bai, Yingying Wang외 4명|arXiv (Cornell University)|2020. 08. 04.

Human Pose and Action Recognition참고 문헌 29인용 수 7

한 줄 요약

이 논문은 경계 예측과 동작 콘텐츠 특징 간의 상호작용을 모델링하여 고품질의 동작 제안을 생성하는 새로운 그래프 기반 프레임워크인 경계 콘텐츠 그래프 신경망(BC-GNN)을 제안한다. 경계를 노드로, 콘텐츠를 간선으로 간주하고, 맞춤형 그래프 추론 연산을 사용함으로써 BC-GNN은 경계 정밀도와 콘텐츠 신뢰도를 향상시켜, 복잡한 후처리나 보조 구성 요소 없이도 ActivityNet-1.3과 THUMOS14에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Temporal action proposal generation plays an important role in video action understanding, which requires localizing high-quality action content precisely. However, generating temporal proposals with both precise boundaries and high-quality action content is extremely challenging. To address this issue, we propose a novel Boundary Content Graph Neural Network (BC-GNN) to model the insightful relations between the boundary and action content of temporal proposals by the graph neural networks. In BC-GNN, the boundaries and content of temporal proposals are taken as the nodes and edges of the graph neural network, respectively, where they are spontaneously linked. Then a novel graph computation operation is proposed to update features of edges and nodes. After that, one updated edge and two nodes it connects are used to predict boundary probabilities and content confidence score, which will be combined to generate a final high-quality proposal. Experiments are conducted on two mainstream datasets: ActivityNet-1.3 and THUMOS14. Without the bells and whistles, BC-GNN outperforms previous state-of-the-art methods in both temporal action proposal and temporal action detection tasks.

연구 동기 및 목표

• 정밀한 경계와 풍부한 동작 콘텐츠를 갖춘 고품질의 시간적 동작 제안을 생성하는 데 도전하는 것.
• 기존 방법이 종종 忽시하는 경계 확률 예측과 콘텐츠 신뢰도 평가 간의 상호작용을 명시적으로 모델링하는 것.
• 비디오 세그먼트의 그래프 구조적 표현을 활용하여 시간적 동작 제안 생성 및 검출을 향상시키는 것.
• 노드(경계)와 엣지(콘텐츠)의 특징을 통합된 프레임워크에서 동시에 업데이트하는 새로운 그래프 추론 메커니즘을 설계하는 것.
• 복잡한 후처리나 보조 구성 요소에 의존하지 않고도 표준 벤치마크에서 최신 기술 수준 성능을 달성하는 것.

제안 방법

• BC-GNN는 정규 간격으로 설정된 시간적 위치를 노드로, 쌍의 노드 사이의 콘텐츠를 간선으로 간주한다(시작 < 종료 조건만 허용).
• 모델은 노드(경계)와 간선(콘텐츠)의 특징을 메시지 전달을 통해 업데이트하는 새로운 그래프 추론 연산을 사용한다.
• 간선 특징은 연결된 노드의 정보와 간선 자체의 표현을 종합하는 학습 가능한 함수를 통해 업데이트된다.
• 노드 특징은 모든 인cidient 간선으로부터의 메시지를 집계함으로써 업데이트되며, 이는 경계 예측이 주변 콘텐츠의 영향을 받을 수 있도록 한다.
• 최종 출력 모듈은 한 개의 업데이트된 간선과 그에 연결된 두 개의 노드를 사용하여 경계 확률과 콘텐츠 신뢰도 점수를 예측한다.
• 최종 제안 점수는 경계 확률과 콘텐츠 신뢰도의 가중 조합으로 계산되며, 이는 고품질의 제안 생성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 경계 예측과 콘텐츠 신뢰도 간의 상호작용을 모델링하면 시간적 동작 제안의 품질이 향상되는가?
• RQ2 그래프 신경망을 어떻게 효과적으로 구성하여 경계 및 콘텐츠 정보를 모두 포함하는 시간적 제안을 표현할 수 있는가?
• RQ3 학습 가능한 간선 업데이트를 갖춘 유기적 방향 그래프가 무방향 또는 고정 간선 그래프보다 제안 생성에서 우월한가?
• RQ4 통합된 그래프 기반 프레임워크가 두 단계 또는 독립적인 예측 파이프라인보다 시간적 동작 제안 생성에서 뛰어난 성능을 낼 수 있는가?
• RQ5 제안된 그래프 추론 메커니즘이 표준 벤치마크에서 성능 향상에 얼마나 기여하는가?

주요 결과

• BC-GNN는 ActivityNet-1.3에서 100개의 제안 시 평균 재현율 76.73%를 기록하여 이전 최고 성능(SOTA) 방법을 능가한다.
• THUMOS14에서 BC-GNN는 0.3 IoU 임계값에서 mAP 46.3%를 달성하여 모든 기존의 두 단계 방법을 능가한다.
• 제거 실험 결과, 유기적 간선과 간선 특징 업데이트가 모두 필수적임을 확인하였으며, 둘을 결합할 경우 AUC가 0.89 포인트 향상된다.
• 추가적인 보조 기능 없이도 BC-GNN는 시간적 동작 제안 생성 및 검출 작업에서 최신 기술 수준 성능을 달성한다.
• 그래프 추론 모듈은 특징 표현을 크게 향상시키며, 최고 성능를 보인 변종은 검증 세트에서 AUC 68.05%를 기록한다.
• 모델은 다양한 데이터셋에 대해 잘 일반화되며, ActivityNet-1.3과 THUMOS14 양쪽에서 일관된 성능 향상을 보여준다.