[논문 리뷰] Unsupervised Learning using Sequential Verification for Action Recognition.

Ishan Misra, C. Lawrence Zitnick외 1명|arXiv (Cornell University)|2016. 03. 28.

Human Pose and Action Recognition참고 문헌 75인용 수 36

한 줄 요약

이 논문은 시맨틱 레이블 없이 영상의 프레임 순서가 올바른지를 확인하도록 CNN을 훈련시켜, 비지도 학습 방법을 통해 영상 행동 인식을 수행한다. 이는 의미 없는 레이블 없이도 강력한 시공간 표현을 학습할 수 있게 한다. 이 방법은 UCF101과 HMDB51에서 사전 훈련으로 사용되었을 때 뚜렷한 정확도 향상을 보이며, FLIC에서 최소한의 감독을 받는 상황에서도 경쟁 가능한 인간 자세 추정 성능을 달성한다.

ABSTRACT

In this paper, we consider the problem of learning a visual representation from the raw spatiotemporal signals in videos for use in action recognition. Our representation is learned without supervision from semantic labels. We formulate it as an unsupervised sequential verification task, i.e., we determine whether a sequence of frames from a video is in the correct temporal order. With this simple task and no semantic labels, we learn a powerful unsupervised representation using a Convolutional Neural Network (CNN). The representation contains complementary information to that learned from supervised image datasets like ImageNet. Qualitative results show that our method captures information that is temporally varying, such as human pose. When used as pre-training for action recognition, our method gives significant gains over learning without external data on benchmark datasets like UCF101 and HMDB51. Our method can also be combined with supervised representations to provide an additional boost in accuracy for action recognition. Finally, to quantify its sensitivity to human pose, we show results for human pose estimation on the FLIC dataset that are competitive with approaches using significantly more supervised training data.

연구 동기 및 목표

• 시맨틱 레이블에 의존하지 않고 원시 영상 시공간 신호로부터 의미 있는 시각적 표현을 학습하는 것.
• 자신의 지도 학습 작업으로서의 과제를 설정하여 영상 행동 인식에서의 제한된 감독 문제를 해결하는 것.
• 비지도 사전 훈련을 통해 인간 자세 변화와 같은 시간에 따라 변화하는 특징을 포착하는 방법을 개발하는 것.
• 비지도 사전 훈련을 사용하여 UCF101과 HMDB51와 같은 벤치마크 데이터셋에서의 후행 행동 인식 성능을 향상시키는 것.
• 이 방법의 다른 시각 작업, 예를 들어 최소한의 감독을 받는 인간 자세 추정과 같은 과제로의 전이 가능성 평가

제안 방법

• 비지도 학습을 순차적 검증 과제로 설정: 영상 프레임의 순서가 올바른지 판단하는 것.
• 컨volutional 신경망(CNN)을 사용해 순서가 '올바른지' 또는 '틀린지'를 이진 분류하도록 훈련시켜 시간에 따른 의존성을 학습한다.
• 운동, 자세 변화와 같은 시간에 따라 변하는 시각 패턴을 인코딩하는 표현을 학습한다.
• 학습된 표현을 UCF101과 HMDB51에서의 후행 행동 인식 모델의 사전 훈련으로 사용한다.
• 이 방법은 ImageNet에서의 지도 학습 표현과 조합하여 성능 향상을 더욱 높일 수 있다.
• FLIC 데이터셋을 사용해 인간 자세 추정 과제에서 자세 관련 특징에 대한 민감도를 평가한다.

실험 결과

연구 질문

• RQ1 간단한 비지도 순차적 검증 과제가 원시 영상에서 효과적인 시공간 표현을 학습할 수 있는가?
• RQ2 비지도 표현이 UCF101과 HMDB51와 같은 표준 벤치마크에서 행동 인식에 얼마나 잘 일반화되는가?
• RQ3 학습된 표현이 인간 자세와 같은 시간에 따라 변화하는 특징을 어느 정도 포착하는가?
• RQ4 비지도 표현을 지도 학습 표현과 효과적으로 조합하여 행동 인식 정확도를 추가로 향상시킬 수 있는가?
• RQ5 이 방법은 인간 자세 추정과 같은 제로샷 또는 로우샷 전이 과제에서 어떻게 성능을 발휘하는가?

주요 결과

• 비지도 순차적 검증 방법은 UCF101과 HMDB51에서 사전 훈련으로 사용되었을 때 외부 데이터 없이 훈련된 모델보다 뚜렷한 정확도 향상을 보였다.
• 학습된 표현은 인간 자세 변화와 같은 시간에 따라 변하는 시각 정보를 포착하고 있으며, 이는 정성적 분석을 통해 확인되었다.
• 이 방법은 ImageNet에서의 지도 학습 특징과 상보적인 표현을 제공하며, 두 가지를 조합하면 성능 향상이 더욱 뚜렷했다.
• FLIC 데이터셋에서 인간 자세 추정 과제를 수행했을 때, 상당히 더 많은 감독 학습 데이터를 사용한 방법과 경쟁 가능한 성능을 달성했다.
• 이 방법은 후행 시각 과제로의 전이 능력이 뛰어나, 학습된 표현이 의미적으로 유의미하고 시간에 민감하다는 것을 시사한다.
• 순차적 검증 과제는 명시적 감독 없이도 운동과 시간적 구조를 효과적으로 학습하도록 네트워크를 유도한다.