[논문 리뷰] Trear: Transformer-based RGB-D Egocentric Action Recognition

Xiangyu Li, Yonghong Hou외 4명|arXiv (Cornell University)|2021. 01. 05.

Human Pose and Action Recognition참고 문헌 30인용 수 7

한 줄 요약

이 논문은 RGB-D 이고세트릭 행동 인식을 위한 트랜스포머 기반 프레임워크인 Trear을 제안한다. 이는 프레임 간 자기주의 어텐션을 사용해 시간적 동역학을 모델링하고, RGB와 깊이 모odalities를 공동으로 표현하기 위해 상호주의 어텐션 기반 융합 블록을 사용한다. 이 방법은 광학 흐름이나 순환 단위에 의존하지 않고 장거리 의존성과 교차 모달 상호작용을 효과적으로 모델링함으로써 세 가지 이고세트릭 RGB-D 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this paper, we propose a extbf{Tr}ansformer-based RGB-D extbf{e}gocentric extbf{a}ction extbf{r}ecognition framework, called Trear. It consists of two modules, inter-frame attention encoder and mutual-attentional fusion block. Instead of using optical flow or recurrent units, we adopt self-attention mechanism to model the temporal structure of the data from different modalities. Input frames are cropped randomly to mitigate the effect of the data redundancy. Features from each modality are interacted through the proposed fusion block and combined through a simple yet effective fusion operation to produce a joint RGB-D representation. Empirical experiments on two large egocentric RGB-D datasets, THU-READ and FPHA, and one small dataset, WCVS, have shown that the proposed method outperforms the state-of-the-art results by a large margin.

연구 동기 및 목표

• 이성적 행동 인식에서 효과적인 다중모달 융합의 부족을 해결하기 위해 RGB와 깊이 모달리티를 통합한다.
• 광학 흐름이나 RNN을 사용하지 않고도 이고세트릭 행동 영상에서 장거리 시간적 의존성을 모델링한다.
• 새로운 융합 메커니즘을 통해 교차 모달 상호작용을 활용하여 미세한 행동 인식을 향상시킨다.
• 랜덤 크롭핑과 어텐션 기반 특징 학습을 통해 RGB-D 이고세트릭 데이터의 모달 불일치와 부정성 문제를 완화한다.

제안 방법

• 프레임워크는 각 모달리티(RGB 및 깊이) 내에서 시간적 관계를 모델링하기 위해 자기주의 어텐션을 갖춘 트랜스포머 인코더를 사용한다.
• 입력 프레임에 랜덤 크롭핑을 적용하여 부정성 감소와 공간 상관관계 학습 향상에 기여한다.
• 상호주의 어텐션 기반 융합 블록을 통해 RGB와 깊이 특징 간의 교차 모달 특징 교환을 가능하게 한다.
• 상호주의 어텐션 레이어의 특징는 요소별 덧셈을 통해 융합되어 공동의 교차 모달 표현을 생성한다.
• 모델는 다중 헤드 자기주의 어텐션과 피드포워드 네트워크를 사용한 표준 트랜스포머 인코더 아키텍처를 사용하여 시퀀스 모델링을 수행한다.
• 프레임워크는 교차 엔트로피 손실을 사용하여 이고세트릭 RGB-D 행동 인식 데이터셋에서 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 광학 흐름이나 RNN을 사용하지 않고도 자기주의 어텐션 메커니즘이 이고세트릭 행동 영상에서 장거리 시간적 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 간단한 연결 또는 요소별 연산 대비 상호주의 어텐션 기반 융합이 교차 모달 표현 학습에 어떻게 향상되는가?
• RQ3 랜덤 크롭핑이 반복적인 이고세트릭 영상 데이터에서 특징 학습에 얼마나 기여하는가?
• RQ4 제안된 프레임워크가 대규모 RGB-D 이고세트릭 행동 인식 벤치마크에서 기존 최신 기술 수준의 방법들을 초월하는가?

주요 결과

• 제안된 방법은 THU-READ (CS4)에서 88.33%의 top-1 정확도를 달성하여 이전 최신 기술 수준 결과를 초월한다.
• FPHA에서 요소별 덧셈 기반 융합을 사용해 96.34%의 정확도를 기록했으며, 이는 이전 방법보다 1.5퍼센트 포인트 이상 높은 성능이다.
• 덧셈 융합을 사용한 상호주의 어텐션 기반 융합 블록은 THU-READ와 WCVS에서 최고의 성능을 기록했으며, WCVS에서는 71.50%의 정확도를 달성했다.
• 랜덤 크롭핑은 동일한 영역을 크롭하는 것과 비교해 THU-READ에서 최대 3.75퍼센트 포인트, FPHA에서는 4.17퍼센트 포인트의 성능 향상을 이끌어냈다.
• 어텐션 시각화 결과는 모델이 '마시기'와 '머그를 들어 올리기'와 같은 핵심 행동 단계를 정확히 식별하고 있음을 확인했으며, 효과적인 시간적 모델링을 수행하고 있음을 입증한다.
• 절단 실험 결과, RGB 모달리티가 깊이 모달리티보다 더 큰 기여를 하며, 상호주의 어텐션 없이 직접 융합할 경우 성능 저하가 발생함을 확인했으며, 이는 교차 모달 상호작용의 필요성을 입증한다.