[論文レビュー] Deep Concept-wise Temporal Convolutional Networks for Action Localization

Xin Li, Tianwei Lin+8 more|arXiv (Cornell University)|Aug 26, 2019

Human Pose and Action Recognition参考文献 62被引用数 8

ひとこと要約

本論文は、抽象的特徴概念の有害な再結合を低減するため、従来の時系列畳み込みに代わって概念別時系列畳み込み（CTC）層を導入する新しい深層アーキテクチャ、Concept-wise Temporal Convolutional Networks（C-TCN）を提案する。各概念ごとに共有された時系列フィルタを適用し、多様な潜在的学習を可能にすることで、THUMOS’14で52.1%のmAP（相対改善率21.7%）を達成し、ActivityNetでも47.6%を記録。外部の統合手法に依存せずに、先行手法を上回る性能を発揮した。

ABSTRACT

Existing action localization approaches adopt shallow temporal convolutional networks (\ie, TCN) on 1D feature map extracted from video frames. In this paper, we empirically find that stacking more conventional temporal convolution layers actually deteriorates action classification performance, possibly ascribing to that all channels of 1D feature map, which generally are highly abstract and can be regarded as latent concepts, are excessively recombined in temporal convolution. To address this issue, we introduce a novel concept-wise temporal convolution (CTC) layer as an alternative to conventional temporal convolution layer for training deeper action localization networks. Instead of recombining latent concepts, CTC layer deploys a number of temporal filters to each concept separately with shared filter parameters across concepts. Thus can capture common temporal patterns of different concepts and significantly enrich representation ability. Via stacking CTC layers, we proposed a deep concept-wise temporal convolutional network (C-TCN), which boosts the state-of-the-art action localization performance on THUMOS'14 from 42.8 to 52.1 in terms of mAP(\%), achieving a relative improvement of 21.7\%. Favorable result is also obtained on ActivityNet.

研究の動機と目的

• 2次元オブジェクト検出における深層ネットワークの性能向上とは対照的に、行動局所化のための深層時系列畳み込みネットワーク（TCN）において性能低下が生じる理由を解消すること。
• 従来のTCN層をより多く積み重ねると、なぜ行動局所化において分類損失が増加し、性能が低下するのかを解明すること。
• 各概念ごとに共有された、多様な潜在的フィルタを備えた新しいモジュール「概念別時系列畳み込み（CTC）」を提案し、概念の識別能を保持するとともに、時系列表現を豊かにすること。
• 標準的なTCNにおける概念再結合の悪影響を軽減することで、行動局所化におけるより深いネットワークアーキテクチャの構築を可能にすること。
• 外部の動画レベル分類結果に依存せずに、THUMOS’14およびActivityNetといった標準ベンチマークで最先端の性能を達成すること。

提案手法

• 各特徴概念ごとに独立して共有された時系列フィルタを適用する概念別時系列畳み込み（CTC）層を導入し、概念間の再結合を低減する。
• 1次元特徴マップを次元（潜在的, 概念）を持つ2次元テンソルとして表現することで、概念ごとのフィルタリングを、概念間で共有パラメータを用いて実現する。
• パラメータ共有により共通する時系列パターンを捉えながらも、概念固有の表現を維持するCTC層を設計する。
• 積み重ねられたCTC層を用いて、性能低下を伴わずにより深いネットワークを構築可能なC-TCNアーキテクチャを構築する。
• マルチスケール表現学習を強化するため、特徴ピラミッドにトップダウンおよびラテラル接続を統合する。
• 局所化と分類の両方の最適化を目的に、2ストリームバックボーンとアンカーベースの検出ヘッドを用いてネットワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 2次元オブジェクト検出では深層ネットワークが性能を向上させるのに対し、なぜ従来の時系列畳み込みネットワーク（TCN）の深さを増すと、行動局所化において性能低下が生じるのか？
• RQ2 標準的なTCNにおける抽象的特徴概念の再結合は、行動分類のための識別的表現学習をどのように損なうのか？
• RQ3 各概念ごとに共有され、多様な潜在的フィルタを持つ時系列畳み込みは、表現学習の向上と同時に、深層TCNにおける概念再結合を低減できるか？
• RQ4 概念別時系列畳み込みモジュール（CTC）は、性能低下を伴わずに、行動局所化におけるより深いネットワークアーキテクチャの構築をどの程度可能にするのか？
• RQ5 提案されたC-TCNアーキテクチャは、THUMOS’14 や ActivityNet といった標準ベンチマークで最先端の性能を達成できるか？

主な発見

• THUMOS’14におけるC-TCNのmAPはtIoU=0.5で52.1%に達し、以前の最先端手法（42.8%）に対して21.7%の相対的改善を示した。
• ActivityNet v1.3では、tIoU=0.5でmAPが47.6%に達し、外部の動画レベル分類結果を一切使用しない状態で、すべての競合手法を上回った。
• アブレーションスタディの結果、トップダウンおよびラテラル接続を削除するとmAPが47.7%に低下し、最適なアーキテクチャ設計においてこれらの構成が重要であることが確認された。
• CTCモジュールを削除して従来のTCNに戻すと、ネットワークが深くなるにつれて性能が低下し、本研究で提案されたモジュールの必要性が裏付けられた。
• AR-AN曲線解析の結果、C-TCNは低AN領域で他と比較して優れた性能を示し、mAPに与える寄与度が高く、局所化性能に特に関連していることが示された。
• 定性的な結果から、C-TCNは複雑なシーンにおける行動の局所化に成功したが、フリスビーをキャッチする行動とサッカーのペナルティキックといった視覚的特徴が類似する行動を誤分類する場合もあった。