[논문 리뷰] Temporal Convolutional Networks: A Unified Approach to Action Segmentation

Colin Lea, Renè Vidal외 2명|arXiv (Cornell University)|2016. 08. 29.

Human Pose and Action Recognition참고 문헌 14인용 수 17

한 줄 요약

이 논문은 1D 컨볼루션, 풀링, 채널별 정규화를 사용하여 영상 및 센서 데이터에서 행동 분할을 위해 저수준, 중간수준, 고수준의 시간적 관계를 계층적으로 포괄하는 통합된 딥러닝 프레임워크인 시간 컨볼루션 네트워크(TCN)를 제안한다. TCN는 RNN 기반 모델 대비 최대 60배 빠른 훈련 속도를 기록하면서도 3개의 공개 데이터셋—50 Salads, GTEA, JIGSAWS—에서 최신 기술 수준 또는 경쟁력 있는 성능을 달성한다.

ABSTRACT

The dominant paradigm for video-based action segmentation is composed of two steps: first, for each frame, compute low-level features using Dense Trajectories or a Convolutional Neural Network that encode spatiotemporal information locally, and second, input these features into a classifier that captures high-level temporal relationships, such as a Recurrent Neural Network (RNN). While often effective, this decoupling requires specifying two separate models, each with their own complexities, and prevents capturing more nuanced long-range spatiotemporal relationships. We propose a unified approach, as demonstrated by our Temporal Convolutional Network (TCN), that hierarchically captures relationships at low-, intermediate-, and high-level time-scales. Our model achieves superior or competitive performance using video or sensor data on three public action segmentation datasets and can be trained in a fraction of the time it takes to train an RNN.

연구 동기 및 목표

• 기존의 행동 분할에서 두 단계로 나뉘는 전통적 접근 방식의 한계를 해결하기 위해, 저수준 기능 추출과 고수준 시간 모델링을 분리하는 것.
• 단일 딥러닝 아키텍처를 사용하여 다양한 시간 스케일에서의 시공간 특징을 통합적으로 모델링하기 위해.
• RNN 기반 모델 대비 훈련 시간을 크게 줄이며 행동 분할 작업에서 성능 향상을 이루기 위해.
• 영상 및 이고세트릭 센서 데이터를 포함한 다양한 모odalities에서 견고한 행동 분할을 가능하게 하기 위해.
• 1D 컨볼루션을 통한 계층적 시간 모델링이 장거리 의존성을 포착하는 데서 RNN 및 CRF를 능가하거나 동등하게 성능을 내는가를 입증하기 위해.

제안 방법

• TCN는 1D 컨볼루션, 풀링, 채널별 정규화를 기반으로 한 인코더-디코더 아키텍처를 사용하여 계층적 시간 표현을 학습한다.
• 각 레이어는 시간 단계를 거쳐 특징의 시간적 변화를 모델링하기 위해 가중치를 학습하는 1D 컨볼루션 필터를 적용한다.
• 풀링 레이어는 다양한 스케일에서 장거리 시간 패턴을 효율적으로 다운샘플링하고 캡처하기 위해 사용된다.
• 채널별 정규화는 훈련을 안정화시키고 다양한 환경 조건 하에서도 성능을 향상시키기 위해 적용된다.
• 모델은 각 프레임의 원시 또는 CNN로 인코딩된 특징을 처리하고, 시간적으로 일관된 프레임별 행동 예측을 출력한다.
• 표준 백프로파게이션을 사용하여 엔드 투 엔드 방식으로 훈련되며, 순차적 반복이 없고 병렬 계산이 가능하다.

실험 결과

연구 질문

• RQ1 RNN이나 CRF에 의존하지 않고도 통합된 딥러닝 프레임워크가 행동 분할에서 다중 스케일 시간 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 1D 컨볼루션을 통한 계층적 시간 모델링은 정확도와 훈련 효율성 측면에서 기존의 두 단계 접근 방식에 비해 어떻게 비교되는가?
• RQ3 TCN가 원시 센서 또는 영상 특징에서 의미 있는 시간 이동과 장거리 패턴을 얼마나 잘 학습할 수 있는가?
• RQ4 TCN에서 순환 연결이 없음으로써 RNN에 비해 일반화 성능 향상이나 과도한 분할 감소가 유도되는가?
• RQ5 영상 및 이고세트릭 가속도계와 같은 다양한 센서 모달리티 간에서 TCN이 일관된 성능을 유지할 수 있는가?

주요 결과

• 50 Salads 데이터셋에서 TCN는 센서 데이터를 사용해 편집 점수 65.6, 정확도 82.0%를 기록했으며, LSTM(편집 점수 54.5, 정확도 73.3%)과 LC-SC-CRF(편집 점수 50.2, 정확도 77.8%)를 모두 능가했다.
• GTEA 데이터셋에서 TCN는 영상 데이터를 사용해 편집 점수 58.8, 정확도 66.1%를 기록했으며, ST-CNN(편집 점수 53.4, 정확도 64.5%)를 뛰어넘고 이전 최신 기술 수준의 방법들과 동등하거나 슈퍼어리어를 기록했다.
• JIGSAWS 데이터셋에서 TCN는 센서 데이터를 사용해 편집 점수 85.8, 정확도 79.6%를 기록했으며, 양방향 LSTM(편집 점수 81.1, 정확도 83.3%) 및 기타 베이스라인을 모두 능가했다.
• TCN는 Nvidia Titan X에서 약 1분 내로 각 분할에 대해 훈련되었으며, RNN-LSTM은 약 1시간이 소요되어 훈련 시간이 최대 60배 빨라졌다.
• 시각화 결과, TCN 레이어가 시간 오프셋을 학습함으로써 원시 센서 입력만으로는 구분하기 어려운 행동을 구분할 수 있도록 하는 것을 확인했다.
• 명시적 순환 구조나 CRF 기반 전이 모델링을 사용하지 않음에도 불구하고, 모든 데이터셋에서 편집 점수가 뚜렷이 높아, 과도한 분할이 감소한 것으로 나타났다.