[논문 리뷰] MoDist: Motion Distillation for Self-supervised Video Representation Learning.

Fanyi Xiao, Joseph Tighe외 1명|arXiv (Cornell University)|2021. 06. 17.

Human Pose and Action Recognition참고 문헌 85인용 수 11

한 줄 요약

MoDist는 동작 경로와 시각 경로 간의 다중모달 학습 목표를 도입하여 동작 정보를 명시적으로 정제함으로써 배경 동작에 대한 집중을 향상시키는 자기지도 학습 영상 표현 학습 방법을 제안한다. 이는 행동 인식 및 검출 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 감독 학습 기반의 기준 모델을 능가하거나 동등하게 성능을 내는 데 성공한다.

ABSTRACT

We present MoDist as a novel method to explicitly distill motion information into self-supervised video representations. Compared to previous video representation learning methods that mostly focus on learning motion cues implicitly from RGB inputs, we show that the representation learned with our MoDist method focus more on foreground motion regions and thus generalizes better to downstream tasks. To achieve this, MoDist enriches standard contrastive learning objectives for RGB video clips with a cross-modal learning objective between a Motion pathway and a Visual pathway. We evaluate MoDist on several datasets for both action recognition (UCF101/HMDB51/SSv2) as well as action detection (AVA), and demonstrate state-of-the-art self-supervised performance on all datasets. Furthermore, we show that MoDist representation can be as effective as (in some cases even better than) representations learned with full supervision. Given its simplicity, we hope MoDist could serve as a strong baseline for future research in self-supervised video representation learning.

연구 동기 및 목표

• 이전 방법들이 RGB 입력에서 암묵적으로 학습하는 경향이 있는 바, 동작 정보를 명시적으로 모델링하여 자기지도 학습 영상 표현 학습을 향상시키는 것.
• 기존의 대비 학습 방법이 전경 동작 영역에 집중하는 데 한계를 가진다는 점을 해결하기 위해 전용 동작 경로를 도입하는 것.
• 행동 인식 및 행동 검출과 같은 후행 작업에 대한 일반화 능력을 향상시키는 단순하면서도 효과적인 프레임워크를 개발하는 것.
• 자기지도 학습 표현이 완전한 감독 학습으로 학습된 표현과 동등하거나 이를 초월할 수 있음을 입증하는 것.
• 향후 자기지도 학습 영상 표현 학습 분야의 연구를 위한 강력하고 실용적인 기준 모델로 MoDist를 확립하는 것.

제안 방법

• MoDist는 RGB 영상 클립을 처리하는 시각 경로와 광학 흐름 또는 동작 특징을 처리하는 동작 경로를 갖는 이중 경로 아키텍처를 도입한다.
• RGB 입력에서 일반적인 영상 표현을 학습하기 위해 시각 경로에 대비 학습 목표를 적용한다.
• 동작 경로와 시각 경로 간의 다중모달 학습 목표를 도입하여 양 경로의 표현을 정렬함으로써 동작 정보를 명시적으로 정제한다.
• RGB 클립에 대한 대비 손실과 동작 및 시각 특징 간의 다중모달 정렬 손실을 동시에 최적화한다.
• 동작 경로는 전경 동작 신호를 캡처하도록 훈련되며, 이후 다중모달 목표를 통해 이 정보가 시각 표현으로 정제된다.
• 이 프레임워크는 엔드 투 엔드로 훈련 가능하며, 대비 학습 외에 추가적인 지도 정보가 필요하지 않다.

실험 결과

연구 질문

• RQ1 암묵적인 동작 학습과 비교해 명시적인 동작 정제가 자기지도 학습 영상 표현의 품질과 일반화 능력을 향상시키는가?
• RQ2 동작 특징와 시각 특징 간의 다중모달 학습 목표를 도입함으로써 학습된 표현에서 전경 동작 영역에 더 집중하는가?
• RQ3 표준 영상 벤치마크에서 MoDist는 최신 기술 수준의 자기지도 학습 및 완전한 감독 학습 방법과 비교해 어떻게 성능을 내는가?
• RQ4 MoDist로 훈련된 자기지도 학습 표현이 후행 작업에서 완전한 감독 학습으로 학습된 표현과 동등하거나 이를 초월할 수 있는가?
• RQ5 MoDist는 향후 자기지도 학습 영상 표현 학습 분야의 연구를 위한 실현 가능하고 효과적인 기준 모델인가?

주요 결과

• MoDist는 자기지도 학습 훈련 하에서 행동 인식에 대해 UCF101, HMDB51 및 Something-Something-V2에서 최신 기술 수준 성능을 달성한다.
• 행동 검출을 위한 AVA 데이터셋에서 MoDist는 경쟁력 있는 성능을 기록하며, 조밀한 예측 작업에 대한 강력한 일반화 능력을 보여준다.
• MoDist가 학습한 표현은 표준 대비 학습보다 더 우수한 일반화 능력을 보이며, 특히 전경 동작을 잘 포착한다.
• 어떤 경우에서는 MoDist의 자기지도 학습 표현이 후행 작업에서 완전한 감독 학습 표현을 초월한다.
• 제거 실험을 통해 다중모달 학습 목표가 성능 향상에 크게 기여함을 확인하였으며, 명시적 동작 정제의 효과를 입증한다.
• 이 방법은 단순하면서도 효과적이므로, 향후 자기지도 학습 영상 표현 학습 연구의 새로운 기준 모델로 강력한 후보가 된다.