[논문 리뷰] Interactive Fusion of Multi-level Features for Compositional Activity Recognition

Rui Yan, Lingxi Xie외 2명|arXiv (Cornell University)|2020. 12. 10.

Human Pose and Action Recognition참고 문헌 35인용 수 9

한 줄 요약

이 논문은 다중 수준 특징—위치, 외관, 의미—을 상호작용적으로 융합하는 프레임워크를 제안하며, 모odal 간 특징 투영과 보조 시간 예측 작업을 통한 융합 지도를 통해 구성적 행동 인식을 수행한다. 이 방법은 최신 기술 대비 Something-Else 데이터셋에서 2.9%의 top-1 정확도 향상을 달성하여 구성적 추론에서 뛰어난 일반화 능력과 강건성을 입증한다.

ABSTRACT

To understand a complex action, multiple sources of information, including appearance, positional, and semantic features, need to be integrated. However, these features are difficult to be fused since they often differ significantly in modality and dimensionality. In this paper, we present a novel framework that accomplishes this goal by interactive fusion, namely, projecting features across different spaces and guiding it using an auxiliary prediction task. Specifically, we implement the framework in three steps, namely, positional-to-appearance feature extraction, semantic feature interaction, and semantic-to-positional prediction. We evaluate our approach on two action recognition datasets, Something-Something and Charades. Interactive fusion achieves consistent accuracy gain beyond off-the-shelf action recognition algorithms. In particular, on Something-Else, the compositional setting of Something-Something, interactive fusion reports a remarkable gain of 2.9% in terms of top-1 accuracy.

연구 동기 및 목표

• 구성적 행동 인식을 위한 다중 수준 특징—외관, 위치, 의미—간의 모달성과 차원이 크게 다름을 고려하여 융합 문제를 해결한다.
• 이질적인 특징 간의 상호작용을 모델링하지 못해 일반화 능력이 떨어지고 편향이 발생하는 후기 융합 방법의 한계를 극복한다.
• 상호작용적 특징 융합을 통해 구성적 추론을 활용하여 새로운 객체와 행동 조합에 일반화할 수 있도록 모델을 가능하게 한다.
• 특징 간 공간적 및 시간적 관계를 통합함으로써 외관 기반의 인덕티브 바이어스에 대한 의존도를 줄인다.
• 특징 상호작용 및 표현 학습을 향상시켜 소수 샘플 및 제로샷 구성 설정에서 성능을 향상시킨다.

제안 방법

• 트랙렛을 사용해 인스턴스 중심 표현을 구축하고, 이를 비외관 특징과 융합하여 통합 표현을 생성함으로써 위치에서 외관 특징 추출을 수행한다.
• 잠재 공간에서 통합 표현 간의 카테고리 인식 쌍방향 관계를 모델링하여 의미 특징을 생성함으로써 의미 특징 상호작용을 수행한다.
• 의미에서 위치로의 예측을 보조 작업으로 구현하여, 미래의 인스턴스 위치와 오프셋을 예측함으로써 특징 융합을 지도한다.
• 학습 가능한 투영 헤드를 사용해 의미 특징을 위치 공간으로 다시 매핑함으로써 다중 모달 간 상호작용과 정렬을 가능하게 한다.
• 주 인식 손실과 보조 예측 손실의 가중 조합을 최적화하며, 하이퍼파rameter λ가 기여도를 조절한다.
• 강력한 백본(예: I3D)과 관계 모듈(예: STIN, NL)을 통합하여 종단 간 엔지니어링된 프레임워크를 구현하고 특징 학습을 향상시킨다.

실험 결과

연구 질문

• RQ1 기존의 후기 융합 또는 초기 연결 방식을 초월해 다중 수준 특징의 상호작용 융합이 구성적 행동 인식 성능을 향상시킬 수 있는가?
• RQ2 미래 인스턴스 상태의 보조 예측이 다중 모달 행동 인식에서 특징 상호작용 및 표현 학습을 어떻게 향상시키는가?
• RQ3 제안된 프레임워크가 훈련 중에 볼 수 없었던 새로운 객체 및 행동 조합에 얼마나 잘 일반화되는가?
• RQ4 상호작용 융합이 특히 외관이 모호한 경우에 외관 기반의 인덕티브 바이어스에 대한 의존도를 줄이는가?
• RQ5 표준 종단 간 모델 대비 소수 샘플 또는 제로샷 설정에서 모델의 성능은 어떠한가?

주요 결과

• 제안된 상호작용 융합 프레임워크는 [20]에서 제시한 종단 간 모델 대비 Something-Else 데이터셋에서 top-1 정확도 2.9% 상승 및 top-5 정확도 3.3% 상승을 달성한다.
• 세부적인 Charades 데이터셋에서는 I3D + STIN 대비 6.8%의 mAP 향상과 전체 Ours-SFI 설정에서는 25.2%의 mAP 향상을 기록하며 최근의 관계 기반 방법들을 능가한다.
• 소수 샘플 설정에서 강력한 일반화 능력을 보이며, 상호작용 융합이 과적합을 완화하고 강건성을 향상시킨다는 것을 시사한다.
• 카테고리별 분석 결과, 상대 운동 및 물체 성질을 포함한 복잡한 동작—예: "무언가를 무언가에서 따르다" 및 "무언가를 돌려 계속 돌게 하다"—에서 기준 모델 대비 뚜렷한 성능 향상을 보였다.
• 시각화 결과, 후기 융합 방법에서 흔히 볼 수 있는 외관 또는 위치 기반 편향을 피하는 것으로 나타났다. 예를 들어 용기 존재 여부에 따라 행동을 잘못 분류하거나 미세한 자가 운동 신호를 간과하는 것을 방지한다.
• 제거 실험 결과, 보조 예측 작업이 학습을 안정화시키고 성능 향상에 기여하며 최적의 λ = 5에서 성능이 최고로 나타남을 확인하였다. 또한, 간단한 후기 융합은 일부 특징이 정보가 없을 경우 성능을 떨어뜨린다.