[論文レビュー] Trear: Transformer-based RGB-D Egocentric Action Recognition

Xiangyu Li, Yonghong Hou+4 more|arXiv (Cornell University)|Jan 5, 2021

Human Pose and Action Recognition参考文献 30被引用数 7

ひとこと要約

本稿では、時間的ダイナミクスをモデル化するためにフレーム間自己注意を用い、RGBと深度モダリティを統合的に表現するための相互注意型融合ブロックを備えた、Transformerに基づくRGB-Dエゴセントリックアクション認識フレームワーク、Trearを提案する。本手法は、光流や再帰型ユニットに依存せずに、長距離依存関係とクロスモダリティ相互作用を効果的にモデル化することで、3つのエゴセントリックRGB-Dデータセットで最先端の性能を達成した。

ABSTRACT

In this paper, we propose a extbf{Tr}ansformer-based RGB-D extbf{e}gocentric extbf{a}ction extbf{r}ecognition framework, called Trear. It consists of two modules, inter-frame attention encoder and mutual-attentional fusion block. Instead of using optical flow or recurrent units, we adopt self-attention mechanism to model the temporal structure of the data from different modalities. Input frames are cropped randomly to mitigate the effect of the data redundancy. Features from each modality are interacted through the proposed fusion block and combined through a simple yet effective fusion operation to produce a joint RGB-D representation. Empirical experiments on two large egocentric RGB-D datasets, THU-READ and FPHA, and one small dataset, WCVS, have shown that the proposed method outperforms the state-of-the-art results by a large margin.

研究の動機と目的

• エゴセントリックアクション認識における有効なマルチモーダル統合の欠如を解消するため、RGBと深度モダリティを統合する。
• 光流やRNNを用いずに、エゴセントリックアクション動画における長距離時間的依存関係をモデル化する。
• 新規な統合メカニズムを通じてクロスモダリティ相互作用を活用することで、細分化されたアクション認識を向上させる。
• ランダムクロッピングと注意に基づく特徴学習を通じて、RGB-Dエゴセントリックデータのモダリティの不一致と冗長性を軽減する。

提案手法

• フレームワークは、各モダリティ（RGBおよび深度）内のフレーム間の時間的関係をモデル化するために、自己注意を備えたTransformerエンコーダを採用する。
• 入力フレームに対してランダムクロッピングを適用し、冗長性を低減するとともに、空間相関の学習を強化する。
• 相互注意型統合ブロックにより、RGBと深度特徴が互いに注目し合うクロスモダリティ特徴交換を可能にする。
• 相互注意層からの特徴は要素ごとの加算により統合され、統合的クロスモダリティ表現が得られる。
• モデルは標準的なTransformerエンコーダアーキテクチャを採用し、多頭部自己注意とフィードフォワードネットワークを用いてシーケンスモデリングを実現する。
• フレームワークは、交差エントロピー損失を用いてエゴセントリックRGB-Dアクション認識データセット上でエンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 光流やRNNを用いずに、自己注意メカニズムがエゴセントリックアクション動画における長距離時間的依存関係を効果的にモデル化できるか？
• RQ2 単純な連結や要素ごとの演算と比較して、相互注意型統合はクロスモダリティ表現学習をどのように改善するか？
• RQ3 ランダムクロッピングは、冗長なエゴセントリック動画データにおける特徴学習をどの程度向上させるか？
• RQ4 提案されたフレームワークは、大規模なRGB-Dエゴセントリックアクション認識ベンチマークで、既存の最先端手法を上回る性能を示すか？

主な発見

• 提案手法は、THU-READ (CS4) でトップ-1正解率88.33%を達成し、以前の最先端手法を上回った。
• FPHAでは、加算ベースの統合を用いて96.34%の正解率に達し、先行手法を1.5ポイント以上上回った。
• 相互注意型統合ブロックに加算統合を組み合わせたアプローチは、THU-READおよびWCVSで最良の性能を示し、WCVSでは71.50%の正解率を記録した。
• ランダムクロッピングは、同じ領域をクロップする手法と比較して、THU-READで最大3.75ポイント、FPHAで最大4.17ポイントの性能向上をもたらした。
• 注意可視化により、モデルが「飲む」や「マグカップを取る」などの重要なアクションフェーズを正しく特定していることが確認され、効果的な時間的モデリングが実証された。
• アブレーションスタディの結果、RGBモダリティが深度モダリティよりも寄与度が高く、相互注意なしの直接統合では性能が低下することが示され、クロスモダリティ相互作用の必要性が裏付けられた。