[論文レビュー] Temporal Transformer Networks: Joint Learning of Invariant and Discriminative Time Warping

Suhas Lohit, Qiao Wang+1 more|arXiv (Cornell University)|Jun 13, 2019

Human Pose and Action Recognition参考文献 42被引用数 4

ひとこと要約

本稿では、時系列分類のための不変性と識別性を併せ持つ時空間変形を同時に学習できる微分可能で解釈可能なモジュール、Temporal Transformer Network (TTN) を提案する。入力に依存する非パラメトリックな微分同相写像を適用することで、クラス内分散を低減し、クラス間分離を高め、特に限られた学習データ下でも最先端の性能を達成した。

ABSTRACT

Many time-series classification problems involve developing metrics that are invariant to temporal misalignment. In human activity analysis, temporal misalignment arises due to various reasons including differing initial phase, sensor sampling rates, and elastic time-warps due to subject-specific biomechanics. Past work in this area has only looked at reducing intra-class variability by elastic temporal alignment. In this paper, we propose a hybrid model-based and data-driven approach to learn warping functions that not just reduce intra-class variability, but also increase inter-class separation. We call this a temporal transformer network (TTN). TTN is an interpretable differentiable module, which can be easily integrated at the front end of a classification network. The module is capable of reducing intra-class variance by generating input-dependent warping functions which lead to rate-robust representations. At the same time, it increases inter-class variance by learning warping functions that are more discriminative. We show improvements over strong baselines in 3D action recognition on challenging datasets using the proposed framework. The improvements are especially pronounced when training sets are smaller.

研究の動機と目的

• 人間の行動認識における可動速度のばらつきや生物学的差異に起因する時系列分類における時間的ずれの問題に対処すること。
• クラス内ばらつきを低減するとともにクラス間識別性を高めるために、変形関数を学習する微分可能で解釈可能なモジュールを開発すること。
• TCN やLSTM などの既存の時系列分類器に、構造的変更を最小限に抑えながら容易に統合できること。
• 特にデータが少ない状況下でも、速度の変動に対してロバストな分類性能を向上させること。
• 解析的不変性とデータ駆動型ディープラーニングの間のギャップを埋める、幾何学的根拠に基づいたモデルベースのアプローチを提供すること。

提案手法

• TTN は分類ネットワークの入力側に挿入される学習可能な微分可能モジュールであり、入力に応じた時系列変形を実行する。
• 平方根速度表現における学習済み速度場を用いて、順序を保ちながら非パラメトリックな微分同相写像を生成し、滑らかで可逆な変形を保証する。
• 学習済みベクトル場を統合することで変形関数を導出し、表現力に富み、連続的な時系列変換を可能にする。
• 分類損失を最小化するとともにクラス内整合性とクラス間分離を促進するように、分類器と同時にエンドツーエンドで最適化する。
• 最適なアライメントの非一意性を活用し、類似しないクラスを遠ざける識別的な変形を学習する。
• さまざまなアーキテクチャと互換性があり、TCN やLSTM などのモデルに1行の統合で組み込める。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングモジュールが、時系列分類のための不変性と識別性の両方の時空間変形を同時に学習できるか？
• RQ2 モデルベースの幾何的制約をデータ駆動型ネットワークに統合することで、時間的レート変動に対するロバスト性をどのように向上させられるか？
• RQ3 微分可能で解釈可能な変形モジュールが、限られた学習データ下での3次元アクション認識データセットにおける分類精度をどの程度向上できるか？
• RQ4 TTN は表現学習における特徴空間のクラスタリングとクラス間分離をどのように改善するか？
• RQ5 TTN は、Kinect やモーショントラッキングに基づく3次元スケルトンといった、さまざまなモodal に効果的に適用可能か？

主な発見

• 誘導されたレート変動を含むICLアクションデータセットにおいて、TTN は波形のずれを補正することでクラスタリング品質と分類精度を顕著に向上させた。
• NTU RGB-D データセットでは、TCN+TTN がクロスサブジェクト評価で77.55%の精度を達成し、ベースラインのTCN（76.54%）を1.01ポイント上回った。
• 2つの並列TTN を用い、出力を連結することで、クロスサブジェクトスプリットでの性能がさらに向上し、77.80%に到達した。
• TTN はクラスタリング指標を改善した：正規化クラスタ純度（CP）は0.466から0.493に、正規化エントロピー（H）は0.575から0.596に向上した。
• t-SNE ビジュアライゼーションにより、TTN の出力が特徴空間でより分離され、よりコンパクトなクラスタを形成することが確認された。
• アブレーションスタディの結果、TTN は特にデータが少ない状況下で、クラス内コンパクト性とクラス間分離の両方を一貫して向上させた。