[논문 리뷰] Temporal Convolutional Networks for Action Segmentation and Detection

Colin Lea, M. D. Flynn외 3명|arXiv (Cornell University)|2016. 11. 16.

Human Pose and Action Recognition참고 문헌 27인용 수 23

한 줄 요약

이 논문은 세분적인 동작 분할 및 검출을 위해 시간적 컨볼루션 네트워크(TCNs)를 소개한다. 계층적 시간 컨볼루션을 사용하여 풀링/업샘플링(ED-TCN) 또는 확장 컨볼루션(Dilated TCN)을 통해 장거리 의존성을 모델링한다. TCNs는 정확도에서 LSTM 기반 모델을 능가하며, 훈련 속도가 30배 이상 빠르며, 50 Salads, MERL Shopping, Georgia Tech Egocentric Activities 데이터셋에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

The ability to identify and temporally segment fine-grained human actions throughout a video is crucial for robotics, surveillance, education, and beyond. Typical approaches decouple this problem by first extracting local spatiotemporal features from video frames and then feeding them into a temporal classifier that captures high-level temporal patterns. We introduce a new class of temporal models, which we call Temporal Convolutional Networks (TCNs), that use a hierarchy of temporal convolutions to perform fine-grained action segmentation or detection. Our Encoder-Decoder TCN uses pooling and upsampling to efficiently capture long-range temporal patterns whereas our Dilated TCN uses dilated convolutions. We show that TCNs are capable of capturing action compositions, segment durations, and long-range dependencies, and are over a magnitude faster to train than competing LSTM-based Recurrent Neural Networks. We apply these models to three challenging fine-grained datasets and show large improvements over the state of the art.

연구 동기 및 목표

• 긴 복잡한 영상에서 미세한 동작 차이가 있는 세분적인 동작 분할 및 검출 문제를 해결하기 위해.
• 기존 모델의 한계를 극복하기 위해 — 예를 들어 RNN의 느린 훈련 속도와 제한된 주의 범위, 슬라이딩 윈도우 검출기의 장거리 컨텍스트 부족.
• 세그먼트 수준의 특성(예: 동작 지속 시간, 전이)과 효율적인 장거리 의존성을 모두 포착하는 시간 모델링 프레임워크를 개발하기 위해.
• 분할 및 검출 작업에 대해 실제 성능을 더 잘 반영하는 통합 평가 지표인 세그멘테이션 F1을 제안하기 위해.
• TCNs가 양방향 LSTM과 같은 강력한 베이스라인을 능가하면서도 훨씬 더 빠르게 훈련될 수 있음을 입증하기 위해.

제안 방법

• 두 가지 유형의 TCNs를 제안한다: 인코더-디코더 TCN(ED-TCN)은 스트라이드 컨볼루션과 업샘플링을 사용하여 계층적 장거리 표현을 구축한다.
• 확장 컨볼루션과 스킵 연결을 사용하여 수용 영역를 확장하면서 파라미터 수나 계산 비용을 증가시키지 않는 확장 TCN을 도입한다.
• 각 레이어가 증가하는 커널 크기 또는 확장 비율을 사용하여 시간 컨볼루션을 적용하는 계층적 아키텍처를 채택하여 다중 척도 시간 패턴을 포착한다.
• 모델링 능력과 시간 역학의 안정성을 향상시키기 위해 게이트드 활성화 함수(예: GPC: tanh(x) ⊙ sigmoid(x))를 사용한다.
• 확장 TCN에서 배치 정규화와 잔차 스킵 연결을 적용하여 훈련 안정성과 기울기 흐름을 향상시킨다.
• 프레임 수준 예측에 대한 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 모델을 훈련시키며, 검출 출력을 위해 비최대 억제(NMS) 후처리를 적용한다.

실험 결과

연구 질문

• RQ1 순수하게 컨볼루션 아키텍처가 세분적인 동작 분할 및 검출 작업에서 장거리 시간 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 세분적인 동작 데이터셋에서 Bi-LSTM과 같은 순환 모델과 비교해 TCNs의 성능과 훈련 효율성은 어떻게 되는가?
• RQ3 TCNs가 동작 지속 시간과 동작 간 쌍별 전이와 같은 세그먼트 수준 특성을 어느 정도 잘 포착할 수 있는가?
• RQ4 계층적 시간 컨볼루션을 사용함으로써 RNN 기반 모델에 비해 과다 분할 오류가 감소하는가?
• RQ5 필터 길이, 확장 비율, 깊이와 같은 아키텍처 선택 사항이 TCNs의 성능 및 내구성에 어떤 영향을 미치는가?

주요 결과

• 에코더-디코더 TCN(ED-TCN)은 50 Salads, MERL Shopping, Georgia Tech Egocentric Activities 세 가지 벤치마크 데이터셋에서 모두 다른 모든 모델, 포함해 최신 기술 모델을 능가한다.
• 50 Salads(중수준)에서 ED-TCN는 게이트드 픽셀CNN(GPC) 활성화 함수를 사용해 F1@25 점수 58.4를 기록했으며, ReLU 및 기타 비선형성보다 뛰어난 성능을 보였다.
• 확장 TCN는 수용 영역를 128프레임(B=4, L=5)으로 확보했고, 96프레임에서도 성능을 유사하게 유지해 확장 컨볼루션을 통한 효과적인 장거리 모델링을 입증했다.
• ED-TCN는 더 긴 컨볼루션 필터 덕분에 다른 모델보다 과다 분할 오류를 크게 감소시켰다. 이는 세그먼트 경계를 더 잘 포착하기 때문이다.
• ED-TCN의 훈련 시간은 테이탄 X에서 200에포크당 약 1분이었고, 양방향 LSTM은 약 30분이었으며, 병렬 처리 가능한 컨볼루션 덕분에 30배의 속도 향상을 보였다.
• L=2, d=15를 사용한 ED-TCN는 44프레임의 수용 영역(52초)을 확보해 장기적 행동 조합을 강력하게 모델링하는 데 최적의 성능을 달성했다.