[논문 리뷰] Shuffle and Learn: Unsupervised Learning using Temporal Order Verification

Ishan Misra, C. Lawrence Zitnick외 1명|arXiv (Cornell University)|2016. 03. 28.

Human Pose and Action Recognition인용 수 20

한 줄 요약

이 논문은 Shuffle and Learn를 제안하며, 비디오 프레임의 시간적 순서를 확인하는 것—즉, 뒤섞인 순서가 타당한지 여부를 판단하는 것—을 통해 비지도 학습 기반의 표현 학습 방법을 개발한다. 레이블 없이 원시 비디오에서 학습함으로써 모델은 운동 및 자세에 민감한 특징을 학습하며, 행동 인식(Ucf101, HMDB51)에서 최신 기술 수준의 성능을 달성하고, 자세 추정(FLIC, MPII)에서도 경쟁력 있는 결과를 내며 일부 벤치마크에서는 지도 학습 사전 훈련을 능가한다.

ABSTRACT

In this paper, we present an approach for learning a visual representation from the raw spatiotemporal signals in videos. Our representation is learned without supervision from semantic labels. We formulate our method as an unsupervised sequential verification task, i.e., we determine whether a sequence of frames from a video is in the correct temporal order. With this simple task and no semantic labels, we learn a powerful visual representation using a Convolutional Neural Network (CNN). The representation contains complementary information to that learned from supervised image datasets like ImageNet. Qualitative results show that our method captures information that is temporally varying, such as human pose. When used as pre-training for action recognition, our method gives significant gains over learning without external data on benchmark datasets like UCF101 and HMDB51. To demonstrate its sensitivity to human pose, we show results for pose estimation on the FLIC and MPII datasets that are competitive, or better than approaches using significantly more supervision. Our method can be combined with supervised representations to provide an additional boost in accuracy.

연구 동기 및 목표

• 세미틱 애너테이션 없이 원시 비디오에서 의미 있는 시각적 표현을 학습하기 위해.
• 시간적 순서 검증을 이용한 비지도 학습이 운동 및 자세 정보를 포착할 수 있는지 조사하기 위해.
• 비지도 표현이 지도 학습 사전 훈련(예: ImageNet)과 상호보완적인지 평가하기 위해.
• 행동 인식 및 인간 자세 추정과 같은 후행 작업에서 이 방법의 효과성을 입증하기 위해.
• 시간적 검증이 대규모 지도 학습 데이터셋의 표현과 경쟁하거나 슈퍼어리어한 표현을 생성할 수 있는지 탐색하기 위해.

제안 방법

• 비지도 학습을 이진 분류 작업으로 공식화: 비디오 프레임의 순서가 올바른지 여부를 예측하는 것.
• 각 프레임에서 특징을 추출하기 위해 컨volutional 신경망(CNN)을 사용하고, 순서가 유효한지 또는 뒤섞인 순서인지 분류한다.
• 대조 텀플(positive: 올바른 순서, negative: 뒤섞인 순서)을 사용하여 무작위 초기화 상태에서 CNN을 엔드 투 엔드로 훈련한다.
• 학습된 표현을 행동 인식 및 관절 추정과 같은 후행 작업을 위한 사전 훈련 방법으로 활용한다.
• 비지도 표현을 지도 학습 사전 훈련(예: ImageNet)과 결합하여 성능을 더욱 향상시킨다.
• 표준 훈련 프rotocol를 적용하고, 교차 엔트로피 손실 및 표준 최적화 방법(예: AdaGrad)을 사용해 후행 데이터셋에서 미세조정한다.

실험 결과

연구 질문

• RQ1 비디오의 시간적 순서 검증이 어떠한 의미적 레이블 없이도 유용한 시각적 표현을 학습할 수 있는가?
• RQ2 학습된 표현이 인간의 몸체 구성과 같은 운동 및 자세 관련 정보를 포착하는가?
• RQ3 행동 인식 및 자세 추정에서 비지도 학습 방법의 성능이 지도 학습 사전 훈련(예: ImageNet)과 비교해 어떻게 되는가?
• RQ4 비지도 표현을 지도 학습 표현과 결합하여 정확도를 더욱 향상시킬 수 있는가?
• RQ5 표현이 물체의 운동 및 인간 자세 변화와 같은 시간 역학적 특성에 민감한가?

주요 결과

• 제안된 비지도 방법은 행동 인식에서 HMDB51에서 78.8%의 Top-1 정확도와 UCF101에서 93.8%의 정확도를 달성하여 랜덤 초기화를 능가하고 일부 지도 학습 기반 베이스라인과 유사하거나 이를 초월한다.
• FLIC 데이터셋에서 모델은 PCK 점수 84.7%를 기록하여 완전히 지도 학습된 UCF101 사전 훈련보다 7.6%포인트 높은 성능을 보였다.
• MPII 데이터셋에서 모델은 PCKh@0.5 점수 47.6%를 기록하여 지도 학습된 UCF101 사전 훈련을 2.1%포인트 초월했다.
• 비지도 표현을 ImageNet 사전 훈련과 조합하면 MPII에서 PCKh@0.5 점수 49.5%를 기록하여 ImageNet 단독 사용 대비 2.3포인트 향상되었다.
• 비지도 표현은 ImageNet과 상호보완적이며, 다른 지도 학습 소스와도 결합하여 후행 작업의 성능 향상에 기여할 수 있다.
• 정성적 분석을 통해 모델이 인간 자세 및 시간 역학적 특성(예: 몸체 변형 및 운동 패턴)에 민감한 표현을 학습하고 있음을 확인했다.