[논문 리뷰] Weakly Supervised Action Learning with RNN based Fine-to-coarse Modeling

Alexander Richard, Hilde Kuehne외 1명|arXiv (Cornell University)|2017. 03. 23.

Human Pose and Action Recognition인용 수 8

한 줄 요약

이 논문은 프레임 단위 애너테이션이 없는 비트림 영상에서 행동을 국소화하고 분류하기 위해 RNN 기반의 미세에서 거친 모델링을 사용하는 약한 감독 행동 인식 프레임워크를 제안한다. 실제 재정렬과 재추정을 통해 반복적으로 하위행동 수를 개선함으로써, 이 방법은 시간 행동 분할 및 행동 정렬 작업에서 최신 기술 수준의 성능을 달성하며, Breakfast 및 Hollywood Extended 데이터셋에서 이전 방법들을 능가한다.

ABSTRACT

We present an approach for weakly supervised learning of human actions. Given a set of videos and an ordered list of the occurring actions, the goal is to infer start and end frames of the related action classes within the video and to train the respective action classifiers without any need for hand labeled frame boundaries. To address this task, we propose a combination of a discriminative representation of subactions, modeled by a recurrent neural network, and a coarse probabilistic model to allow for a temporal alignment and inference over long sequences. While this system alone already generates good results, we show that the performance can be further improved by approximating the number of subactions to the characteristics of the different action classes. To this end, we adapt the number of subaction classes by iterating realignment and reestimation during training. The proposed system is evaluated on two benchmark datasets, the Breakfast and the Hollywood extended dataset, showing a competitive performance on various weak learning tasks such as temporal action segmentation and action alignment.

연구 동기 및 목표

• 단지 행동 순서 정보만 제공되는 최소한의 감독 하에 비트림 영상에서 시간 행동 국소화의 과제를 해결하기 위해.
• 프레임 단위 애너테이션의 비용을 줄이기 위해 행동 순서 정보만을 활용하는 약한 감독 학습을 통해 의존도를 낮추기 위해.
• 행동를 하위행동의 시퀀스로 모델링하고 각 행동 클래스별 하위행동 수를 적응시킴으로써 국소화 정확도를 향상시키기 위해.
• RNN과 확률 모델링을 조합한 하이브리드 미세에서 거친 아키텍처를 통해 장시간 영상 시퀀스에 대한 강건한 추론을 가능하게 하기 위해.
• 수동으로 경계 애너테이션을 요구하지 않고도 벤치마크 데이터셋에서 최신 기술 수준의 성능를 달성하기 위해.

제안 방법

• 짧은 시간 클립에서 하위행동의 분류 가능한 표현을 학습하기 위해 순환 신경망(RNN)을 사용한다.
• 전체 영상에 걸쳐 시간 정렬과 장시간 시퀀스 추론을 가능하게 하기 위해 거친 확률 모델을 통합한다.
• 제공된 행동 순서에 따라 영상 전반에 걸쳐 행동을 균일하게 분포시킴으로써 행동 분할을 초기화한다.
• RNN 재학습과 각 행동 클래스별 하위행동 수 갱신을 통해 프레임-하위행동 정렬을 반복적으로 개선한다.
• 각 학습 반복 동안 유추된 시간적 특성에 기반해 각 행동 클래스별 하위행동 수를 재추정한다.
• 수렴할 때까지 반복적인 재정렬 및 재추정 루프를 적용함으로써 분할 및 분류 성능를 모두 향상시킨다.

실험 결과

연구 질문

• RQ1 단지 행동 순서 애너테이션만을 사용하는 약한 감독 영상에서, 미세에서 거친 RNN 기반 아키텍처가 행동을 효과적으로 국소화할 수 있는가?
• RQ2 고정된 하위행동 수 대비 각 행동 클래스별로 하위행동 수를 동적으로 적응시키는 것이 국소화 정확도를 향상시키는가?
• RQ3 제안된 반복적인 재정렬 및 재추정 프로세스는 장시간이고 복잡한 영상 시퀀스에서 성능에 어떤 영향을 미치는가?
• RQ4 기존 최신 기술 수준의 방법들에 비해 이 방법은 약한 감독 시간 행동 분할에서 얼마나 뛰어난 성능를 보이는가?
• RQ5 행동 지속 시간의 이질성에 따라 하위행동 적응으로부터 얻는 성능 향상의 정도는 어떠한가?

주요 결과

• 제안된 방법은 시간 행동 분할 작업에서 Breakfast 데이터셋에서 평균 프레임 정확도(Mof) 33.3%를 달성하며, 이는 이전 최신 기술 수준의 방법들을 능가한다.
• Hollywood Extended 데이터셋에서는 시간 행동 분할 작업에서 Jaccard 지수(IoU) 11.9%를 달성하며, 재추정이 없는 기준 GRU 모델보다 뚜렷이 향상된 성능를 보인다.
• 행동 정렬 작업에서는 Breakfast 데이터셋에서 Jaccard 지수 47.3%, Hollywood Extended에서 46.3%를 기록하며, 비교된 모든 기준 모델을 초월한다.
• 반복적인 재추정의 성능 향상은 행동 지속 시간이 다양하게 퍼져 있는 Breakfast 데이터셋에서 더욱 두드러지며, 이는 이질적인 행동 길이에 대한 개선된 적응 능력을 시사한다.
• 재추정을 적용한 GRU 기반 모델은 LSTM을 사용하는 ECTC 및 HTK 시스템을 모두 능가하며, 하위행동 적응 전략의 효과성을 입증한다.
• 제거 실험 결과는 RNN 기반의 미세한 표현과 함께 거친 모델이 경쟁적인 성능를 보이며, 하이브리드 아키텍처 설계의 타당성을 검증한다.