[논문 리뷰] Temporal Transformer Networks: Joint Learning of Invariant and Discriminative Time Warping

Suhas Lohit, Qiao Wang외 1명|arXiv (Cornell University)|2019. 06. 13.

Human Pose and Action Recognition참고 문헌 42인용 수 4

한 줄 요약

이 논문은 시간 시리즈 분류를 위한 유연하고 해석 가능한 모듈인 시간 트랜스포머 네트워크(TTN)를 제안한다. TTN은 입력에 따라 달라지는 비모수적 미분 가능 변환을 통해 반복적 분류의 분산을 줄이고 클래스 간 분離도를 높이며, 특히 훈련 데이터가 제한된 경우에도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Many time-series classification problems involve developing metrics that are invariant to temporal misalignment. In human activity analysis, temporal misalignment arises due to various reasons including differing initial phase, sensor sampling rates, and elastic time-warps due to subject-specific biomechanics. Past work in this area has only looked at reducing intra-class variability by elastic temporal alignment. In this paper, we propose a hybrid model-based and data-driven approach to learn warping functions that not just reduce intra-class variability, but also increase inter-class separation. We call this a temporal transformer network (TTN). TTN is an interpretable differentiable module, which can be easily integrated at the front end of a classification network. The module is capable of reducing intra-class variance by generating input-dependent warping functions which lead to rate-robust representations. At the same time, it increases inter-class variance by learning warping functions that are more discriminative. We show improvements over strong baselines in 3D action recognition on challenging datasets using the proposed framework. The improvements are especially pronounced when training sets are smaller.

연구 동기 및 목표

• 변동하는 운동 속도와 생체역학적 차이로 인한 시간적 비일치 문제를 해결하기 위해 시간 시리즈 분류에서의 시간적 비일치를 다루는 것.
• 반복적 변동성을 줄이고 클래스 간 분류 가능성을 높이기 위해 변형 함수를 학습하는 유연하고 해석 가능한 모듈을 개발하는 것.
• 기존의 시간 시리즈 분류기인 TCN과 LSTMs에 아키텍처의 대대적 개선 없이 원활하게 통합하는 것.
• 특히 데이터가 적은 경우에도 속도 변화에 대한 분류의 강건성을 향상시키는 것.
• 기하학적으로 근거가 있는 모델 기반 접근법을 제안하여 분석적 불변성과 데이터 기반 딥러닝 간 격차를 메우는 것.

제안 방법

• TTN은 분류 네트워크의 앞단에 삽입되는 학습 가능한 유연하고 유연한 모듈로, 입력에 따라 특화된 시간적 변형을 수행한다.
• 제곱근 속도 표현에서 학습된 속도장을 사용하여 비모수적이고 순서를 유지하는 미분 가능 변환을 생성함으로써 부드럽고 가역적인 변형을 보장한다.
• 학습된 벡터장에서 적분을 통해 유도된 변형 함수를 통해 표현력 있고 연속적인 시간 변형을 가능하게 한다.
• 분류 손실을 최소화하고 반복적 군집의 정렬 및 클래스 간 분리도를 증진시키기 위해 분류기와 함께 엔드 투 엔드로 최적화된다.
• 최적의 정렬이 유일하지 않음을 활용하여, 서로 다른 클래스를 더 멀리 밀어내는 분류 가능성을 갖춘 변형을 학습한다.
• 다양한 아키텍처와 호환되며, TCN과 LSTMs와 같은 모델에 단 한 줄의 통합만으로도 적용 가능하다.

실험 결과

연구 질문

• RQ1 딥러닝 모듈이 시간 시리즈 분류를 위한 불변성과 분류 가능성을 동시에 학습할 수 있는가?
• RQ2 모델 기반 기하 제약 조건을 데이터 기반 네트워크에 통합하여 시간 속도 변화에 대한 강건성을 향상시킬 수 있는가?
• RQ3 유연하고 해석 가능한 변형 모듈이 제한된 훈련 데이터로 3D 동작 인식 데이터셋에서 분류 정확도를 얼마나 향상시킬 수 있는가?
• RQ4 TTN은 표현 학습에서 특징 공간의 군집화와 클래스 간 분리도를 향상시키는가?
• RQ5 TTN은 Kinect 및 모션 캡처 기반 3D 스켈레톤과 같은 다양한 모odalities에 효과적으로 적용될 수 있는가?

주요 결과

• 유도된 속도 변화가 있는 ICL 행동 데이터셋에서, TTN은 비일치한 웨이브폼을 정렬함으로써 군집 품질과 분류 정확도를 크게 향상시켰다.
• NTU RGB-D 데이터셋에서 TCN+TTN은 교차 주제 평가에서 77.55%의 정확도를 기록하여 기준 TCN(76.54%)보다 1.01%p 높였다.
• 두 개의 병렬 TTN을 사용하고 출력을 연결함으로써 교차 주제 분할에서 성능을 77.80%로 더욱 향상시켰다.
• TTN은 군집 메트릭을 향상시켰다: 정규화된 군집 순수도(CP)는 0.466에서 0.493으로, 정규화된 엔트로피(H)는 0.575에서 0.596으로 상승했다.
• t-SNE 시각화 결과, TTN 출력은 특징 공간에서 더 잘 분리되고 더 조밀한 군집을 형성하는 것으로 확인되었다.
• 제거 실험 결과, TTN은 특히 데이터가 적은 경우에 반복적 군집의 조밀성과 클래스 간 분리도를 일관되게 향상시켰다.