[논문 리뷰] Long Short-Term Transformer for Online Action Detection

Mingze Xu, Yuanjun Xiong외 5명|arXiv (Cornell University)|2021. 07. 07.

Human Pose and Action Recognition참고 문헌 74인용 수 11

한 줄 요약

LSTR는 온라인 행동 탐지에 적합한 새로운 Transformer 기반 아키텍처를 제안하며, 장기적이고 단기적 기억을 명시적으로 분리하여 최대 8분 분량의 장기 영상 시퀀스를 높은 시간 해상도로 모델링한다. 장기적 기록을 고정 길이의 잠재 표현으로 압축하고, 이를 복합 주의 메커니즘을 통해 접근하면서도 세밀한 단기적 맥락을 처리함으로써, THUMOS’14, TVSeries, HACS Segment 벤치마크에서 최고 성능을 달성하며 효율성 향상과 히우리스틱에 대한 의존도 감소를 이룬다.

ABSTRACT

We present Long Short-term TRansformer (LSTR), a temporal modeling algorithm for online action detection, which employs a long- and short-term memory mechanism to model prolonged sequence data. It consists of an LSTR encoder that dynamically leverages coarse-scale historical information from an extended temporal window (e.g., 2048 frames spanning of up to 8 minutes), together with an LSTR decoder that focuses on a short time window (e.g., 32 frames spanning 8 seconds) to model the fine-scale characteristics of the data. Compared to prior work, LSTR provides an effective and efficient method to model long videos with fewer heuristics, which is validated by extensive empirical analysis. LSTR achieves state-of-the-art performance on three standard online action detection benchmarks, THUMOS'14, TVSeries, and HACS Segment. Code has been made available at: https://xumingze0308.github.io/projects/lstr

연구 동기 및 목표

• 미래 프레임가 없는 상황에서 최대 8분 분량의 장기 영상 시퀀스를 모델링하는 데 도전하는 것.
• 역전파를 시간에 따라 수행해야 하는 순환 모델의 한계를 극복하고 장거리 의존성을 다루는 것.
• 과거 맥락을 통합적으로 모델링하는 대신 장기적 역사적 맥락과 단기적 세밀한 프레임 수준의 동적 특성을 명시적으로 분리함으로써 시간적 모델링을 향상시키는 것.
• 히우리스틱적 하향 샘플링이나 풀링을 피하면서도 높은 정확도를 유지하는 효율적인 엔드 투 엔드 아키텍처를 개발하는 것.

제안 방법

• LSTR는 장기 기억(최대 2048 프레임)과 단기 기억(32 프레임)을 갖는 두 가지 별도의 메모리 스트림을 가진 인코더-디코더 Transformer 아키텍처를 사용한다.
• LSTR 인코더는 이중 단계의 메모리 압축을 통해 장기적 기록을 고정 길이의 잠재 표현으로 압축하여 장기적 컨텍스트 모델링을 효율적으로 구현한다.
• LSTR 디코더는 단기 프레임과 압축된 장기 기억 간의 자기 주의 및 복합 주의를 수행하여 예측을 정밀하게 조정한다.
• 모델은 인과 주의 메커니즘을 사용하여 과거 및 현재 정보만을 사용함으로써 온라인 추론 제약 조건을 충족시킨다.
• 역전파를 시간에 따라 수행할 필요 없이 장기 기억의 임의의 프레임에 직접 주의를 기울임으로써 순환 단위를 회피한다.
• 방향성 마스크와 위치 임베딩을 사용해 미래 토큰을 추가함으로써 행동 예측으로의 확장이 가능하다.

실험 결과

연구 질문

• RQ1 반복 단위 없이 자기 주의 메커니즘이 온라인 행동 탐지에서 최대 8분 분량의 장기 영상 시퀀스를 효과적으로 모델링할 수 있는가?
• RQ2 장기적 메모리와 단기적 메모리를 분리함으로써 통합된 과거 맥락 모델링에 비해 성능 향상이 얼마나 이루어지는가?
• RQ3 장기적 기록을 압축함에도 불구하고 LSTR가 얼마나 높은 시간 해상도를 유지할 수 있는가?
• RQ4 LSTR는 다양한 길이의 영상과 행동 특성을 가진 다양한 데이터셋에 일반화 가능한가?
• RQ5 정확도와 계산 효율성 측면에서 이전 최고 성능 기록을 달성한 방법들과 비교해 LSTR는 어떻게 성능을 내는가?

주요 결과

• LSTR는 THUMOS’14, TVSeries, HACS Segment 등 세 가지 표준 벤치마크에서 최고 성능을 달성한다.
• THUMOS’14에서 LSTR는 'HammerThrow' 행동에 대해 평균 정밀도(mAP) 92.8%를 기록하여 평가된 모든 방법들 중에서 가장 높은 성능을 보였다.
• LSTR는 'PoleVault'과 'LongJump'과 같은 장시간 다단계 행동에서도 뛰어난 성능을 보였으며, 각각 mAP 89.7%와 86.9%를 기록했다.
• 운동량이 적거나 시각적 해상도가 낮은 행동, 예를 들어 'Billiards'(mAP 39.8%)와 'CricketShot'(mAP 38.6%)에서는 정확도가 낮아지는 경향을 보이며 시각적 미세함에 민감함을 보였다.
• 제거 실험 결과, 장기적 및 단기적 메모리의 분리가 모델링 효율성과 표현 품질 향상에 크게 기여하는 것으로 확인되었다.
• 2초 뒤의 행동 예측을 위한 LSTR 확장은 경쟁 가능한 성능을 보였으며, 이는 관련 작업에 대한 적응 가능성과 타당성을 입증한다.