[論文レビュー] PIC: Permutation Invariant Convolution for Recognizing Long-range Activities

Noureldien Hussein, Efstratios Gavves+1 more|arXiv (Cornell University)|Mar 18, 2020

Human Pose and Action Recognition被引用数 9

ひとこと要約

本論文は、受容 field 内の時間的順序に不変であることで、長時間にわたる動画行動をモデル化する新しいニューラル層 PIC（Permutation Invariant Convolution）を提案する。この層は、階層的抽象化を可能にする局所的接続性を尊重し、共有重みを用いてノイジーで長い動画における特徴的な視覚的手がかりを検出する。PIC は、Charades、Breakfast、MultiThumos の各データセットで最先端の性能を達成し、自己注意、Timeception、ベクトルアグリゲーションを用いた 3D CNN よりも顕著な優位性を示した。

ABSTRACT

Neural operations as convolutions, self-attention, and vector aggregation are the go-to choices for recognizing short-range actions. However, they have three limitations in modeling long-range activities. This paper presents PIC, Permutation Invariant Convolution, a novel neural layer to model the temporal structure of long-range activities. It has three desirable properties. i. Unlike standard convolution, PIC is invariant to the temporal permutations of features within its receptive field, qualifying it to model the weak temporal structures. ii. Different from vector aggregation, PIC respects local connectivity, enabling it to learn long-range temporal abstractions using cascaded layers. iii. In contrast to self-attention, PIC uses shared weights, making it more capable of detecting the most discriminant visual evidence across long and noisy videos. We study the three properties of PIC and demonstrate its effectiveness in recognizing the long-range activities of Charades, Breakfast, and MultiThumos.

研究の動機と目的

• 時間的順序が乱れやすく厳密でない長時間の行動をモデル化する際、標準的な畳み込み、自己注意、ベクトルアグリゲーションの限界を克服すること。
• 受容 field 内の特徴の順序変更に不変であるニューラル層を設計し、弱い順序付けされた長時間の時間的構造をモデル化可能にする。
• 階層的抽象化が可能となるよう、局所的接続性を維持すること。
• 共有重み（キー・バリューのカーネル）を用いることで、長くノイジーな動画シーケンスにおける顕著な視覚的証拠の検出を強化すること。
• PIC が既存の 3D CNN に組み込まれることで、複数のベンチマークデータセットで長時間の行動認識を効果的に可能にすることを実証すること。

提案手法

• PIC は、局所的な時間的ウィンドウ内の特徴に対して、固定で順序に依存しない表現を計算する、順序不変な畳み込み演算を導入する。
• 受容 field 内のすべての位置に共通のキーおよびバリューのカーネルを用いることで、パラメータの効率性とノイズの多い入力へのロバスト性を向上させる。
• 特徴ウィンドウ全体に対して学習可能なアグリゲーション関数を適用することで、入力特徴の順序に依存しない性質を実現する。
• スライディング時間ウィンドウに同じ演算を適用することで、階層的特徴学習が可能なスタックされた層を可能にする。
• 3D CNN バックボーンに統合され、長時間の動画データセットにおける行動認識のためのエンドツーエンド訓練が行われる。
• 複数の PIC 層を段階的に積み重ねることで、浅い層では微細なユニット行動を、深い層ではセグメントレベルの相互作用を学習する多段階の抽象化が可能になる。

実験結果

リサーチクエスチョン

• RQ1 受容 field 内の特徴の時間的順序変更に不変でありながら、階層的学習に適した局所的接続性を維持できるニューラル層を設計できるか？
• RQ2 時間的モデリング層において共有重みを使用することで、非共有の自己注意機構と比較して、長くノイジーな動画における特徴的な視覚的証拠の検出性能がどのように向上するか？
• RQ3 標準的な 3D 畳み込み、自己注意、ベクトルアグリゲーションと比較して、PIC が長時間行動認識性能をどの程度向上できるか？
• RQ4 PIC は 'コーヒーを淹れる' や ' flapjack を作る' といった弱い順序付けされた長時間の行動をよりよくモデル化できるか？
• RQ5 PIC は、動画長、ラベル付けの複雑さ、行動構成が異なる多様なデータセットに一般化可能か？

主な発見

• Breakfast データセットでは、PIC が 89.84% の精度を達成し、Timeception（86.93%）や Nonlocal（83.79%）を大きく上回り、長時間で複数のユニット行動を含む行動のモデル化において優れた性能を示した。
• Charades では、ResNet-101 バックボーンを用いた PIC が 43.8% の mAP を達成し、以前の最先端（42.5%、SlowFast-NL）を上回り、マルチラベルで複雑な行動において強力な性能を示した。
• MultiThumos では、PIC が 78.31% の mAP を達成し、Timeception（74.79%）やベースの 3D CNN（72.43%）を上回り、長時間でマルチラベルな動画シーケンスに対する有効性を確認した。
• 可視化結果から、初期の PIC 層は '注ぐ' や '切る' といった行動に依存しない微細な概念を学習しているのに対し、深い層ではより高次の、行動固有の相互作用を学習していることがわかった。
• アブレーションスタディの結果、PIC の3つの特徴（順序不変性、局所的接続性、共有重み）が性能向上に不可欠であり、それぞれが一意にロバストネスと正確性に寄与していることが確認された。