[논문 리뷰] Actor-Centric Relation Network

Chen Sun, Abhinav Shrivastava외 4명|arXiv (Cornell University)|2018. 07. 28.

Human Pose and Action Recognition참고 문헌 63인용 수 14

한 줄 요약

이 논문은 액터, 물체, 장면 간의 시공간 관계를 모델링하여 비디오 내 동작 검출 성능을 햖थ한 약한 지도 학습 방법인 액터 중심 관계 네트워크(ACRN)를 제안한다. 1D 및 3D 컨볼루션을 사용해 액터 및 전반적 장면 특징에서 쌍별 관계를 계산하고 집계함으로써 ACRN은 프레임 수준의 특징을 초월해 동작 인식 성능을 향상시키며, JHMDB 및 AVA 데이터셋에서 최신 기준 성능을 달성하여 일부 동작의 프레임-AP에서 최대 11% 향상을 기록한다.

ABSTRACT

Current state-of-the-art approaches for spatio-temporal action localization rely on detections at the frame level and model temporal context with 3D ConvNets. Here, we go one step further and model spatio-temporal relations to capture the interactions between human actors, relevant objects and scene elements essential to differentiate similar human actions. Our approach is weakly supervised and mines the relevant elements automatically with an actor-centric relational network (ACRN). ACRN computes and accumulates pair-wise relation information from actor and global scene features, and generates relation features for action classification. It is implemented as neural networks and can be trained jointly with an existing action detection system. We show that ACRN outperforms alternative approaches which capture relation information, and that the proposed framework improves upon the state-of-the-art performance on JHMDB and AVA. A visualization of the learned relation features confirms that our approach is able to attend to the relevant relations for each action.

연구 동기 및 목표

• 시각적 외관을 초월해 액터, 물체, 장면 요소 간의 관계를 모델링하여 시공간 동작 검출 성능을 향상시키기 위해.
• 비용이 많이 드는 개별 인스턴스 레이블링 없이도 자동으로 관련 관계를 탐지할 수 있는 약한 지도 학습을 가능하게 하기 위해.
• 관계 특징을 동시에 학습하고 동작 검출기와 함께 엔드 투 엔드 학습을 지원하는 신경망 모듈을 개발하기 위해.
• 관계 추론이 유사한 동작(예: 공을 잡는 것 vs. 공을 쏘는 것)의 의미 모호성을 해소하는 데 기여하는지 확인하기 위해.
• 모델이 의미적으로 관련 있는 관계(예: 액터-물체 상호작용)에 주의를 기울이는지 시각화하고 검증하기 위해.

제안 방법

• ACRN는 학습 가능한 신경망을 사용해 액터 표현과 장면 특징 맵 셀 간의 쌍별 관계 특징을 계산한다.
• 장면 특징 표현을 개별 격자 셀로 단순화하고, 효율적인 관계 계산을 위해 1×1 컨볼루션을 사용한다.
• 3×3 컨볼루션 레이어는 이웃한 공간적 및 시간적 위치로부터 관계 정보를 집계하여 국소적 맥락을 모델링한다.
• 시간적 맥락은 3D ConvNets를 통해 통합되며, 공간 관계와 함께 공동 처리를 위해 특징이 2D로 평탄화된다.
• 모델은 액터 수준의 지도만을 사용하여 엔드 투 엔드로 훈련된다.
• 해석 가능성 향상을 위해 클래스 활성화 맵(CAM)을 적용해 관계 특징에 대한 공간적 및 시간적 주의를 시각화한다.

실험 결과

연구 질문

• RQ1 약한 지도 학습을 통한 관계 모델링이 프레임 수준 특징을 초월해 동작 검출 성능을 향상시킬 수 있는가?
• RQ2 ACRN가 학습한 관계 특징이 액터-물체 동적 상호작용과 같은 의미적으로 관련 있는 상호작용에 주목하는가?
• RQ3 관계를 모델링하지 않거나 전역 맥락만 사용하는 기준 모델과 비교해 ACRN은 어떻게 성능을 내는가?
• RQ4 관계 추론이 가장 큰 도움을 주는 동작 카테고리는 무엇인가, 특히 상호작용을 포함하는 경우?
• RQ5 시각적 외형만으로는 인식이 어려운 복잡하고 모호한 동작으로 일반화 가능한가?

주요 결과

• AVA(버전 2.1)에서 ACRN은 프레임-AP 17.4를 기록하며, 베이스 모델(15.5) 대비 1.9점 향상되어 여러 분할에서 일관된 성능 향상을 보였다.
• JHMDB에서 ACRN는 '잡기' 동작에 대해 12% 향상, '인사하기'에 대해 10%, '점프하기'에 대해 6% 향상되어 상호작용이 많은 동작에서 뚜렷한 성과를 보였다.
• ACRN는 AVA에서 77.9의 프레임-AP와 80.1의 비디오-AP를 기록하여 I3D 및 ACT를 포함한 이전 방법들을 능가하는 최신 기준 성능을 달성했다.
• 시각화 결과 ACRN가 관련 관계(예: 잡는 동작과 쏘는 동작에서 공)에 주의를 기울이는 것을 확인하여 모델의 해석 가능성 확인.
• qualitative 비교를 통해 ACRN는 오분류를 줄이고 놓친 검출을 포착함을 보여주었으며, 이는 베이스 모델의 오류를 수정하는 데 기여했다.
• 인간-인간 또는 인간-물체 상호작용을 포함하는 동작, 예를 들어 '싸우기', '춤추기', '키스하기', '악기 연주하기'에서 가장 높은 성능 향상이 관찰되었다.