[논문 리뷰] Dilated Temporal Fully-Convolutional Network for Semantic Segmentation of Motion Capture Data

Noshaba Cheema, S. Maryam Hosseini외 5명|arXiv (Cornell University)|2018. 01. 01.

Video Analysis and Summarization참고 문헌 9인용 수 5

한 줄 요약

이 논문은 3D 운동 캡처 데이터의 자동 의미 분할을 위한 확장된 시간 완전 컨volution 네트워크(DTFCN)를 제안한다. 이는 3D 운동 시퀀스를 RGB 운동 이미지로 변환하고, 지수적 수축률 증가를 통한 중첩된 1차원 확장 컨볼루션을 적용한다. 모델은 테스트 정확도 91.64%를 달성하며, 80%의 노이즈가 있는 레이블에 대해서도 강건성을 보이며, 액션 분할 작업에서 최신 기술 수준(SOTA) 모델들을 능가한다.

ABSTRACT

Semantic segmentation of motion capture sequences plays a key part in many data-driven motion synthesis frameworks. It is a preprocessing step in which long recordings of motion capture sequences are partitioned into smaller segments. Afterwards, additional methods like statistical modeling can be applied to each group of structurally-similar segments to learn an abstract motion manifold. The segmentation task however often remains a manual task, which increases the effort and cost of generating large-scale motion databases. We therefore propose an automatic framework for semantic segmentation of motion capture data using a dilated temporal fully-convolutional network. Our model outperforms a state-of-the-art model in action segmentation, as well as three networks for sequence modeling. We further show our model is robust against high noisy training labels.

연구 동기 및 목표

• 긴 운동 캡처 시퀀스의 의미 분할을 자동화하여 현재 수작업이 필요한 과정을 간소화한다.
• 기울어짐 기울기와 병렬 처리가 어려운 문제로 인해 시퀀스 모델링에서 RNN의 한계를 해결하기 위해 시간 컨volution 네트워크(TCN)를 활용한다.
• 확장 컨볼루션을 통해 장거리 시간적 의존성을 활용하여 운동 캡처 데이터의 액션 분할 정확도를 향상시킨다.
• 운동 데이터베이스 구축 과정에서 흔히 발생하는 인간 레이블 노이즈에 대한 강건성을 향상시킨다.
• 대규모 운동 데이터베이스 구축을 위한 확장 가능하고 효율적인 딥 러닝 프레임워크를 개발한다.

제안 방법

• 각 열이 프레임에 해당하는 RGB 이미지 표현으로 3D 운동 캡처 데이터를 변환하며, 관절 위치는 RGB 값으로 인코딩된다.
• 관절 수와 동일한 커널 높이를 가진 2D 컨볼루션 레이어를 적용하여 시간 차원에만 작용한다.
• 지수적 증가하는 확장률(d = w^(l−1))을 가진 네 개의 1D 시간 비가역 확장 컨볼루션 레이어를 스택하여 해상도를 유지하면서 수용영역을 확장한다.
• 최종 소프트맥스 레이어 이전에 정규화된 ReLU 활성화 함수를 사용하여 분류 정확도를 향상시킨다.
• 픽셀 단위의 액션 분류를 위해 완전 연결 레이어와 소프트맥스를 사용하며, 입력 시퀀스 길이에 맞추기 위해 업샘플링을 수행한다.
• 70개의 운동 시퀀스와 10개의 액션 클래스로 구성된 데이터셋에서 100 에포크 동안 Adam 옵timizer를 사용하고 7중 교차 검증을 수행하여 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 확장된 시간 완전 컨볼루션 네트워크는 운동 캡처 시퀀스의 장거리 시간적 의존성을 의미 분할에 효과적으로 학습할 수 있는가?
• RQ2 ED-TCN, WaveNet, TDNN, LSTM과 같은 최신 기술 수준의 모델들과 비교해 본다면, 제안된 DTFCN의 성능은 어떠한가?
• RQ3 운동 데이터베이스 레이블링에서 흔히 발생하는 노이즈 또는 잘못된 레이블에 대해 모델의 강건성은 어느 정도인가?
• RQ4 정확한 분할을 위한 최적의 수용영역 크기는 무엇이며, 수용영역 확장을 통한 모델 복잡도는 어떻게 증가하는가?

주요 결과

• 제안된 DTFCN는 동일한 운동 캡처 데이터셋에서 ED-TCN(88.47%), WaveNet(88.69%), TDNN(85.54%), LSTM(81.95%)을 능가하는 테스트 정확도 91.64%를 달성한다.
• 커널 너비 w = 3를 사용할 경우 342 프레임의 수용영역 크기가 3125 프레임의 매우 큰 수용영역과 유사한 성능을 내지만, 파rameter 수가 438K개 적다.
• 80%의 노이즈가 있는 레이블로 훈련해도 모델은 여전히 88% 이상의 테스트 정확도를 유지하여 레이블 노이즈에 강건함을 입증한다.
• 소프트맥스 레이어 이전에 정규화된 ReLU 활성화 함수를 사용할 경우 표준 ReLU보다 분류 정확도가 향상된다.
• 다양한 수용영역 크기에서 모델 성능이 안정적으로 유지되어, 중간 크기의 수용영역이 정확한 분할에 충분함을 시사한다.
• 과거와 미래의 맥락이 모두 필요한 미세한 운동 유형, 예를 들어 '왼쪽 발 디디기 시작'과 '왼쪽 발 디디기'를 효과적으로 구분할 수 있다.