[論文レビュー] TransAction: ICL-SJTU Submission to EPIC-Kitchens Action Anticipation Challenge 2021

Xiao Jing Gu, Jianing Qiu+3 more|arXiv (Cornell University)|Jul 28, 2021

Topic Modeling参考文献 7被引用数 7

ひとこと要約

本論文では、エゴセントリックなアクション予測を目的とした階層的トランスフォーマー型モデルであるTransActionを提示する。このモデルは、時間的自己注意、クロスモodal注意、および動詞と名詞のブランチ間の共生的注意を用いて、RGB、フロー、オブジェクトなどのマルチモーダル特徴を統合する。EPIC-Kitchensテストセットにおいて13.39%の平均Top-5リCALLを達成し、すべてのサブセットで動詞予測で1位を獲得。特に、等価化損失を用いることで、長尾分布を示すアクションクラスの性能が向上した。

ABSTRACT

In this report, the technical details of our submission to the EPIC-Kitchens Action Anticipation Challenge 2021 are given. We developed a hierarchical attention model for action anticipation, which leverages Transformer-based attention mechanism to aggregate features across temporal dimension, modalities, symbiotic branches respectively. In terms of Mean Top-5 Recall of action, our submission with team name ICL-SJTU achieved 13.39% for overall testing set, 10.05% for unseen subsets and 11.88% for tailed subsets. Additionally, it is noteworthy that our submission ranked 1st in terms of verb class in all three (sub)sets.

研究の動機と目的

• エゴセントリックなアクション予測の課題に取り組む。ここでは、将来のアクションが極めて不確実で、かつ過去の観察からの非同期的因果関係が影響を及ぼす。
• エゴセントリック動画データセットにおける長尾分布のアクション分布に対して、一般化性能を向上させる。特に、まれなアクションが頻繁に発生しない状況を想定する。
• 動詞と名詞の予測の間の相互依存関係をモデル化する。これにより、統一された注意フレームワーク内で、相互に補い合う関係を実現する。
• RNNを超えた時間的モデリングを実現する。これにより、フレーム間で長距離依存関係を捉えるトランスフォーマーの能力を活用する。
• EPIC-Kitchens アクション予測チャレンジ2021で最先端の性能を達成する。これには、堅牢でモジュール化されており、拡張性のあるアーキテクチャを採用する。

提案手法

• モデルは、3つのコアモジュールを備えた階層的トランスフォーマー・アーキテクチャを採用している。時間的自己注意（TSA）は、フレーム間の長距離時間的依存関係をモデル化する。
• クロスモーダル注意（CMA）は、RGB、オプティカルフロー、オブジェクト検出モダリティからの特徴を、共有された注意メカニズムを用いて統合する。
• 共生的注意（SA）は、動詞と名詞の予測ヘッド間の双方向的特徴相互作用を可能にし、それらの文脈的依存関係を活用する。
• フレームワークは、2つのブロックの級列として実装されており、各ブロックが順番にTSA、CMA、SAを適用することで、段階的に特徴表現を精錬する。
• クラスの不均衡を緩和するために、等価化損失が適用される。これは、珍しいクラスを予測する際の頻度の高いクラスの勾配更新を低減することで実現する。
• テストセットでの一般化と性能向上を図るため、3つのTransActionモデルとRULSTM-Fusionベースラインのアンサンブルが用いられた。

実験結果

リサーチクエスチョン

• RQ1 階層的トランスフォーマー型アーキテクチャは、エゴセントリックなアクション予測において、長距離時間的依存関係を効果的にモデル化できるか？
• RQ2 クロスモーダル注意は、RGB、フロー、オブジェクトモダリティ間の特徴統合を、アクション予測の文脈でどのように改善するか？
• RQ3 動詞と名詞のブランチ間の共生的注意は、特に珍しいアクションに対して、予測精度をどの程度向上させるか？
• RQ4 等価化損失は、エゴセントリック動画データセットにおける長尾分布のアクション分布に対するモデルの一般化性能を顕著に向上させられるか？
• RQ5 RULSTM-Fusionベースラインと組み合わせたTransActionのアンサンブルは、EPIC-Kitchensテストセットで一貫した性能向上をもたらすか？

主な発見

• 提案されたTransActionモデルは、EPIC-Kitchens アクション予測チャレンジ2021の全体テストセットで13.39%の平均Top-5リCALLを達成した。
• 未観測サブセットでは、10.05%の平均Top-5リCALLを達成し、以前に観測されていなかったアクションに対しても、堅牢な一般化性能を示した。
• テイルサブセットでは、11.88%の平均Top-5リCALLを達成し、珍しい長尾分布アクションクラスにおける性能向上が確認された。
• 全3つのテストサブセットで動詞予測で1位を獲得し、全体テストセットで36.15%の平均Top-5リCALLを達成した。
• アブレーションスタディの結果、共生的注意モジュールを削除すると性能低下が最も顕著に現れ、これが動詞・名詞の共同予測において極めて重要な役割を果たしていることが示された。
• TransActionとRULSTM-Fusionのアンサンブルは、全体的な性能が最も高く、特にテイルアクションサブセットでの結果が顕著に向上した。