[논문 리뷰] Learning Transferable Self-attentive Representations for Action Recognition in Untrimmed Videos with Weak Supervision

Xiaoyu Zhang, Haichao Shi외 4명|arXiv (Cornell University)|2019. 02. 20.

Human Pose and Action Recognition인용 수 5

한 줄 요약

이 논문은 비정형 영상에서 행동 인식 및 국소화를 위한 약한 지도 학습 프레임워크인 TSRNet을 제안한다. 영상 수준의 레이블만을 사용하며, 자기주의 주의(self-attention)를 활용해 관련 프레임을 강조하고, 공개된 정형 영상 데이터셋에서 지식을 전이함으로써 THUMOS14 및 ActivityNet1.3에서 최신 기준 성능을 달성한다. 이는 약한 지도 학습 및 일부 완전 지도 학습 기반 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Action recognition in videos has attracted a lot of attention in the past decade. In order to learn robust models, previous methods usually assume videos are trimmed as short sequences and require ground-truth annotations of each video frame/sequence, which is quite costly and time-consuming. In this paper, given only video-level annotations, we propose a novel weakly supervised framework to simultaneously locate action frames as well as recognize actions in untrimmed videos. Our proposed framework consists of two major components. First, for action frame localization, we take advantage of the self-attention mechanism to weight each frame, such that the influence of background frames can be effectively eliminated. Second, considering that there are trimmed videos publicly available and also they contain useful information to leverage, we present an additional module to transfer the knowledge from trimmed videos for improving the classification performance in untrimmed ones. Extensive experiments are conducted on two benchmark datasets (i.e., THUMOS14 and ActivityNet1.3), and experimental results clearly corroborate the efficacy of our method.

연구 동기 및 목표

• 영상 수준의 레이블만을 사용하는 비정형 영상에서 행동 인식 문제를 해결함으로써, 화면 수준의 레이블링보다 비용이 낮은 것을 목표로 한다.
• 공개된 정형 영상 데이터셋에서의 지식 전이를 통해 비정형 영상 인식 모델의 강건성을 향상시킨다.
• 행동 관련 프레임을 강조하는 화면 수준의 주의 가중치를 학습함으로써 시간적 행동 국소화를 가능하게 한다.
• 영상 수준의 레이블만을 사용하여 인식과 국소화를 동시에 최적화할 수 있는 통합 프레임워크를 개발한다.

제안 방법

• 모델은 비정형 영상과 정형 영상 양쪽에서 고수준 의미적 특징을 추출하기 위해 이중 스트림 CNN(RGB 및 옵티컬 플로우)을 사용한다.
• 비정형 영상의 특징에 자기주의 주의 모듈을 적용하여 화면 수준의 가중치를 할당함으로써 행동 관련 프레임을 강조한다.
• 정형 영상 및 비정형 영상의 특징 간 도메인 불일치를 최소화하기 위해 지식 전이 모듈을 도입함으로써 일반화 성능을 향상시킨다.
• 주의 학습의 안정성 향상과 특징의 구분 능력 향상을 위해 정규화 손실을 사용한다.
• 지식 전이는 특징 수준의 적응을 통해 수행되며, 정형 영상과 비정형 영상 데이터셋 간 공통 클래스를 활용해 명시적인 전이를 구현한다.
• 최종 예측은 자기주의 주의 가중치와 소프트맥스 점수의 조합을 통해 행동 인스턴스를 국소화한다.

실험 결과

연구 질문

• RQ1 약한 지도 학습 하에서 자기주의 주의 메커니즘이 비정형 영상의 행동 프레임을 효과적으로 국소화할 수 있는가?
• RQ2 정형 영상에서의 지식 전이가 비정형 영상 벤치마크에서 행동 인식 성능을 향상시키는가?
• RQ3 자기주의 주의와 지식 정제의 통합이 모델의 일반화 능력과 국소화 정확도에 어떤 영향을 미치는가?
• RQ4 영상 수준의 레이블만을 사용하여 통합 프레임워크가 동시에 인식과 국소화를 최적화할 수 있는가?

주요 결과

• TSRNet은 THUMOS14에서 최신 기준 mAP 성능을 달성하여 기존의 약한 지도 학습 방법을 뛰어넘고, 일부 완전 지도 학습 방법조차도 능가한다.
• ActivityNet1.3에서 TSRNet은 뛰어난 검출 성능을 보이며, UCF101의 겹치는 클래스에서 사전 학습을 수행할 경우 성능 향상이 이루어진다.
• 두 번의 특징 적응 라운드를 통한 지식 전이가 단일 전이보다 더 뛰어난 성능을 내어, 다중 수준의 특징 정렬이 유의미한 이점을 제공함을 시사한다.
• 자기주의 주의 메커니즘이 효과적으로 행동 프레임을 식별함을 질적 결과를 통해 입증하였으며, 주의 가중치가 실제 행동 경계와 밀접하게 일치함을 확인할 수 있었다.
• 정규화 손실과 지식 전이를 적용한 모델은 두 데이터셋에서 모든 IoU 임계치에서 뚜렷한 성능 향상을 보였다.