[論文レビュー] Temporal Gaussian Mixture Layer for Videos

AJ Piergiovanni, Michael S. Ryoo|arXiv (Cornell University)|Mar 16, 2018

Human Pose and Action Recognition参考文献 29被引用数 9

ひとこと要約

本論文では、長時間にわたる動画内の時間的依存関係を、混合ガウスカーネルを用いてモデル化する微分可能でパラメータ効率の良い畳み込み層「Temporal Gaussian Mixture (TGM) layer」を提案する。この手法により、モデルパラメータを増加させることなく、長い時間的文脈を効果的に捉えることが可能になる。CharadesおよびMultiTHUMOSのベンチマークにおいて、I3Dや先行手法を上回る性能を示し、元のCharades局所化設定において最大22.3% mAPの向上を達成した。

ABSTRACT

We introduce a new convolutional layer named the Temporal Gaussian Mixture (TGM) layer and present how it can be used to efficiently capture longer-term temporal information in continuous activity videos. The TGM layer is a temporal convolutional layer governed by a much smaller set of parameters (e.g., location/variance of Gaussians) that are fully differentiable. We present our fully convolutional video models with multiple TGM layers for activity detection. The extensive experiments on multiple datasets, including Charades and MultiTHUMOS, confirm the effectiveness of TGM layers, significantly outperforming the state-of-the-arts.

研究の動機と目的

• 連続的な動画アクティビティ検出における長期的時間的依存関係をモデル化する課題に対処すること。
• 長時間的依存関係のモデリングを維持または向上させつつ、時間的畳み込み層の学習可能なパラメータ数を削減すること。
• 微分可能でパrameter化された注目メカニズムを用いて、完全畳み込み型の動画モデルが、時間的に遠く離れたフレームを効率的に注目できるようにすること。
• CharadesやMultiTHUMOSのようなアクティビティ検出ベンチマークでの性能向上を図ることで、より豊富で抽象化された空間時間的表現を捉えること。

提案手法

• TGM層は、M個のガウス分布のソフト混合として時間的畳み込みフィルタを構築し、各分布は位置（平均）と分散で定義され、学習可能な混合重みを持つ。
• この層はガウスベースのフィルタを時間的特徴マップに適用し、複数の非局所的時間的領域を同時に注目できるようにする。
• TGM層のパラメータ数はフィルタ長Lに依存しないため、パラメータの爆発を伴わずに長時間の時間的モデリングが可能である。
• TGM層は完全に微分可能であり、バックプロパゲーションを用いた学習が可能で、標準的なCNNとエンドツーエンドで訓練できる。
• この手法は、I3D特徴の上に積み重ねられた完全畳み込み型動画モデルに統合されており、複数のTGM層により時間的構造の階層的モデリングが可能である。
• 複数のガウスカーネルを1つの効果的なフィルタに統合するソフト注目メカニズムを用いることで、関連する時間的区間への動的焦点を可能にしている。

実験結果

リサーチクエスチョン

• RQ1 パラメータ効率の良い時間的畳み込み層は、連続的な動画アクティビティ検出において長期的時間的依存関係を捉えることができるか？
• RQ2 フィルタ長に依存しないTGM層のパラメータ設計が、長時間のアクティビティにおいて性能に与える影響は何か？
• RQ3 ガウス混合機構は、固定サイズの1次元畳み込みやプーリング層よりも優れた時間的モデリングを可能にするか？
• RQ4 TGM層は、I3D やLSTM、時間的ピラミッドプーリングといった最先端手法を上回ることができるか？
• RQ5 Charades（長時間）とMultiTHUMOS（短時間）のような平均アクティビティ期間が異なるデータセットに対し、モデルはどのように適応するか？

主な発見

• TGMモデルは、元の局所化設定下でCharadesデータセットにおいて22.3%のmAPを達成し、I3Dにスーパーイベントを組み合わせた以前の最先端手法（19.4%）を上回った。
• L=30で3つのTGM層を用いることで、約800フレーム（±15秒）の時間的文脈を捉えることができ、I3Dの±2秒を大幅に上回った。
• MultiTHUMOSでは、L=5で3つのTGM層を用いた場合、標準的な1次元畳み込みや他のベースラインを上回り、37.2%のmAPを達成した。
• ガウス注目メカニズムのおかげで、TGM層の性能は大きなL値に対してもロバストであり、長いフィルタでも関連する時間的領域に自然に焦点を絞る。
• 3つのTGM層とL=30を用いたモデルは、MultiTHUMOSで33.9%のmAPを達成し、あらゆるL値において1つのTGM層や1次元畳み込みを上回った。
• 可視化結果から、TGM層は時間的区間の中心に注目するよう学習しており、Charades（長時間のアクティビティ）では広いガウス分布、MultiTHUMOS（短時間のイベント）では狭いガウス分布を学習していることがわかった。