[논문 리뷰] MS-TCN++: Multi-Stage Temporal Convolutional Network for Action Segmentation

Shijie Li, Yazan Abu Farha외 3명|arXiv (Cornell University)|2020. 06. 16.

Human Pose and Action Recognition인용 수 15

한 줄 요약

이 논문은 확장된 수용장역을 가진 확장된 1D 컨볼루션을 사용하여 단계 간 예측을 개선함으로써 동작 분할 성능을 햖थ한 다단계 시간 컨볼루션 네트워크인 MS-TCN++을 제안한다. 이는 국소적이고 전역적인 맥락을 통합하는 이중 확장된 레이어를 도입하고, 예측 단계와 개선 단계를 분리하여 설계를 향상시키며, 개선 단계 간에 파라미터 공유를 가능하게 함으로써 50Salads, GTEA, Breakfast 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성하면서도 RNN 기반 모델보다 빠른 훈련 속도를 확보한다.

ABSTRACT

With the success of deep learning in classifying short trimmed videos, more attention has been focused on temporally segmenting and classifying activities in long untrimmed videos. State-of-the-art approaches for action segmentation utilize several layers of temporal convolution and temporal pooling. Despite the capabilities of these approaches in capturing temporal dependencies, their predictions suffer from over-segmentation errors. In this paper, we propose a multi-stage architecture for the temporal action segmentation task that overcomes the limitations of the previous approaches. The first stage generates an initial prediction that is refined by the next ones. In each stage we stack several layers of dilated temporal convolutions covering a large receptive field with few parameters. While this architecture already performs well, lower layers still suffer from a small receptive field. To address this limitation, we propose a dual dilated layer that combines both large and small receptive fields. We further decouple the design of the first stage from the refining stages to address the different requirements of these stages. Extensive evaluation shows the effectiveness of the proposed model in capturing long-range dependencies and recognizing action segments. Our models achieve state-of-the-art results on three datasets: 50Salads, Georgia Tech Egocentric Activities (GTEA), and the Breakfast dataset.

연구 동기 및 목표

• 기존 시간적 동작 분할 모델에서의 과다 분할 오류를 해결하기 위해.
• 시간 풀링이나 순환층에 의존하지 않고도 장거리 시간적 의존성을 효과적으로 모델링하기 위해.
• 초기 예측 단계와 개선 단계를 분리하여 작업에 특화된 아키텍처 최적화를 가능하게 하기 위해.
• 개선 단계에서의 파라미터 공유를 통해 복잡도를 줄이고 성능를 유지하기 위해.
• 고효율성과 빠른 속도를 확보하면서도 여러 벤치마크에서 최신 기술 수준의 성능를 달성하기 위해.

제안 방법

• 각 단계에서 확장된 1D 컨볼루션을 사용하여 파rameter 수를 늘리지 않고도 수용장역을 확장함으로써 예측 생성 및 개선을 수행하는 다단계 아키텍처를 사용한다.
• 각 레이어 내에서 작은 수용장역과 큰 수용장역을 동시에 캡처하기 위해 이중 확장 레이어(Dual Dilated Layer, DDL)를 도입한다.
• 초기 예측 단계를 개선 단계와 분리하여 예측 생성 및 개선 작업에 특화된 별도의 아키텍처 설계를 가능하게 한다.
• 과다 분할을 방지하고 예측의 연속성을 향상시키기 위해 훈련 중 스무딩 손실을 적용한다.
• 개선 단계 간에 파라미터 공유를 적용하여 모델 크기를 66% 감소시키면서 성능 저하를 0.5% 이내로 유지한다.
• 모든 시간 해상도에서 작동하여 다운샘플링으로 인한 정보 손실을 방지하고, 병렬 추론을 위한 완전한 컨볼루션 아키텍처이다.

실험 결과

연구 질문

• RQ1 다단계 시간 컨볼루션 네트워크는 동작 분할에서 과다 분할 오류를 효과적으로 줄일 수 있는가?
• RQ2 모델 복잡도를 증가시키지 않고도 한 레이어 내에서 국소적이고 전역적인 시간 맥락을 효율적으로 캡처할 수 있는가?
• RQ3 초기 예측 단계의 아키텍처를 개선 단계에서 분리하면 성능 향상과 적응성 향상에 기여하는가?
• RQ4 개선 단계 간의 파라미터 공유를 통해 모델 크기를 얼마나 줄일 수 있으며 정확도 손실 없이 유지할 수 있는가?
• RQ5 완전한 컨볼루션 기반 비순환 아키텍처는 RNN 기반 모델보다 성능과 속도 면에서 동작 분할 벤치마크에서 승리할 수 있는가?

주요 결과

• MS-TCN++는 50Salads 데이터셋에서 88.8% 프레임 단위 정확도, 83.5% F1 점수, 80.1% 에디트 거리로 최신 기술 수준(SOTA)의 성능를 달성한다.
• GTEA 데이터셋에서 MS-TCN++는 86.2% 프레임 단위 정확도, 83.0% F1 점수, 79.7% 에디트 거리를 기록하며 이전 방법들을 능가한다.
• Breakfast 데이터셋에서 MS-TCN++는 64.1% F1 점수, 58.6% 세그먼트 정확도, 67.6% 프레임 단위 정확도를 기록하며 이전 SOTA를 초월한다.
• 50Salads에서 50에포크 훈련에 걸리는 시간을 10분으로 단축시켰으며, 유사한 능력을 가진 Bi-LSTM 모델 대비 35분이었던 시간을 약 70% 감소시켰다.
• 개선 단계에서의 파라미터 공유로 모델 크기를 66% 감소시켰고, 성능는 공유되지 않은 버전과 0.5% 이내로 유지했다.
• I3D 특징을 사용할 경우 약간 더 높은 정확도를 기록했지만, Breakfast 데이터셋에서는 IDT 특징이 더 높은 F1 점수를 기록하여 운동 특징이 이 데이터셋에 더 유용하다는 것을 시사한다.