[논문 리뷰] Connectionist Temporal Modeling for Weakly Supervised Action Labeling

De-An Huang, Li Fei-Fei외 1명|arXiv (Cornell University)|2016. 07. 28.

Human Pose and Action Recognition참고 문헌 43인용 수 27

한 줄 요약

이 논문은 액션 순서만 제공되는 경우에도 비디오 액션 레이블링을 위해 프레임 간 시각적 유사성을 활용하여 액션 레이블과 비디오 프레임 간 일관된 정렬을 강제하는 약한 지도 학습 프레임워크인 확장된 커넥티스트 타임클래식리케이션(ECTC)을 제안한다. 타임스탬프 레이블이 필요로 하지 않으며, 희소한 프레임 수준의 애너테이션을 지원하는 반면, 1% 미만의 레이블된 프레임으로도 최신 기준 성능을 달성하며, 일부 설정에서는 완전 지도 학습 기반 모델을 능가한다.

ABSTRACT

We propose a weakly-supervised framework for action labeling in video, where only the order of occurring actions is required during training time. The key challenge is that the per-frame alignments between the input (video) and label (action) sequences are unknown during training. We address this by introducing the Extended Connectionist Temporal Classification (ECTC) framework to efficiently evaluate all possible alignments via dynamic programming and explicitly enforce their consistency with frame-to-frame visual similarities. This protects the model from distractions of visually inconsistent or degenerated alignments without the need of temporal supervision. We further extend our framework to the semi-supervised case when a few frames are sparsely annotated in a video. With less than 1% of labeled frames per video, our method is able to outperform existing semi-supervised approaches and achieve comparable performance to that of fully supervised approaches.

연구 동기 및 목표

• 학습 중에 프레임 수준의 타임스탬프 애너테이션이 없이 오직 액션 순서만 제공되는 약한 지도 학습 비디오 액션 레이블링 문제를 해결하는 것.
• 가능한 정렬의 큰 검색 공간에서 열악한 또는 시각적으로 일관성 없는 프레임-레이블 정렬의 위험을 줄이는 것.
• 정렬 점수 계산 과정에 시각적 유사성을 통합하여 비디오 액션 로컬라이제이션의 시간 모델링을 향상시키는 것.
• 희소한 프레임 수준의 애너테이션을 활용한 반감독 학습으로 프레임워크를 확장하여 정렬 검색 공간을 크게 줄이는 것.
• 최소한의 지도 정보로도 완전 지도 학습 모델과 비교할 수 있는 성능을 달성하는 것.

제안 방법

• 동적 프ограм밍을 통해 모든 가능한 프레임-레이블 정렬을 효율적으로 평가함으로써 커넥티스트 타임클래식리케이션(CTC)을 비디오 액션 레이블링에 적응시키는 것.
• 연속된 프레임 간의 시각적 유사성을 명시적으로 활용하여 정렬 일관성을 강제하는 확장된 CTC(ECTC)를 도입하여 시각적으로 불가능한 정렬을 걸러내는 것.
• 전진-역행 알고리즘을 수정하여 시각적 유사성 점수를 통합하고, 연속된 프레임 간의 시각적 일관성에 따라 정렬을 가중치화하는 것.
• 기존의 프레임-레이블 정렬을 제약 조건으로 모델링하여 알려진 프레임 수준의 정렬을 반감독 학습에 통합함으로써 정렬 공간을 줄이는 것.
• 약한 지도 학습(액션 순서)과 희소한 프레임 수준의 지도 학습을 동시에 모델링하는 통합 최적화 프레임워크를 사용하는 것.
• 시간 모델링과 정렬 점수 계산을 위한 입력 표현으로 사전 훈련된 모델의 딥 피처를 활용하는 것.

실험 결과

연구 질문

• RQ1 타임스탬프 수준의 애너테이션이 전혀 없이 오직 액션 순서만으로도 시간 모델링 프레임워크가 액션 로컬라이제이션을 효과적으로 학습할 수 있는가?
• RQ2 연속된 프레임 간의 시각적 일관성은 약한 지도 학습 액션 레이블링에서 정렬 품질을 향상시키는 데 어떻게 활용될 수 있는가?
• RQ3 희소한 프레임 수준의 애너테이션은 약한 지도 학습 비디오 이해에서 정렬 정확도를 향상시키고 검색 공간을 얼마나 줄일 수 있는가?
• RQ4 1% 미만의 레이블된 프레임으로 제한된 조건에서 약한 지도 학습 모델이 완전 지도 학습 기반 모델을 능가할 수 있는가?
• RQ5 정렬 점수 계산 과정에 시각적 유사성을 통합할 경우, 열악한 또는 일관성 없는 정렬에 대한 회복력은 어떻게 영향을 받는가?

주요 결과

• ECTC는 액션 검출 및 정렬 작업에서 기존의 약한 지도 학습 기반 모델들을 능가하며, 오직 액션 순서 지도 학습만으로도 성능을 내는 데 성공했다.
• 비디오당 1% 미만의 레이블된 프레임으로도 ECTC의 반감독 학습 확장 버전이 완전 지도 학습 최신 기준 모델과 비교할 만한 성능을 달성했다.
• ECTC에 시각적 유사성이 통합되면서 정렬 품질이 크게 향상되어, 시각적으로 일관성 없거나 열악한 정렬의 영향을 줄였다.
• Hollywood2 데이터셋에서 ECTC는 약한 지도 학습 액션 검출에서 OCDC 기준보다 평균 정밀도(mAP)가 높게 기록하여 시간 모델링의 유용성을 입증했다.
• 평가 세트에서 ECTC 버전은 Jaccard 측정치에서 균일 기반 모델과 OCDC를 모두 능가하는 강력한 정렬 성능을 보였다.
• 정성적 결과 분석을 통해 ECTC는 복잡하고 긴 비디오에서도 다양한 지속 시간을 가진 액션을 정확히 로컬라이제이션하는 데 성공했다.