[論文レビュー] Elaborative Rehearsal for Zero-shot Action Recognition
本稿では、アクションクラスのための判別性の高い記述（ED）を生成し、動画に検出されたオブジェクトからの記述的コンセプト（EC）を統合することで、一般化性能を向上させるエラボラティブリハーサル（ER）を強化したゼロショットアクション認識（ZSAR）モデルを提案する。事前学習されたBERTを用いたED符号化と、時間的およびオブジェクトストリームを統合する共同動画特徴学習フレームワークを活用することで、複数のベンチマークで最先端の性能を達成し、一般化性能が強く、Kinetics ZSARでは1ショット教師ありベースラインを上回る。
The growing number of action classes has posed a new challenge for video understanding, making Zero-Shot Action Recognition (ZSAR) a thriving direction. The ZSAR task aims to recognize target (unseen) actions without training examples by leveraging semantic representations to bridge seen and unseen actions. However, due to the complexity and diversity of actions, it remains challenging to semantically represent action classes and transfer knowledge from seen data. In this work, we propose an ER-enhanced ZSAR model inspired by an effective human memory technique Elaborative Rehearsal (ER), which involves elaborating a new concept and relating it to known concepts. Specifically, we expand each action class as an Elaborative Description (ED) sentence, which is more discriminative than a class name and less costly than manual-defined attributes. Besides directly aligning class semantics with videos, we incorporate objects from the video as Elaborative Concepts (EC) to improve video semantics and generalization from seen actions to unseen actions. Our ER-enhanced ZSAR model achieves state-of-the-art results on three existing benchmarks. Moreover, we propose a new ZSAR evaluation protocol on the Kinetics dataset to overcome limitations of current benchmarks and demonstrate the first case where ZSAR performance is comparable to few-shot learning baselines on this more realistic setting. We will release our codes and collected EDs at https://github.com/DeLightCMU/ElaborativeRehearsal.
研究の動機と目的
- 未学習のアクションに対してトレーニングデータが利用できないゼロショットアクション認識（ZSAR）の課題に対処すること。
- 曖昧な単語埋め込みや手動属性を越えた、アクションクラスの意味的表現を向上させること。
- 事前学習済み画像モデルからのオブジェクトレベルのコンセプトを統合することで、動画の意味的表現を強化すること。
- 人間の記憶リハーサルを模倣する訓練目的関数を設計し、未学習のアクションへの一般化を向上させること。
- 1ショット学習ベースラインと比較可能なより現実的なKineticsにおけるZSARベンチマークを確立すること。
提案手法
- 事前学習済みBERTを用いて、単なるクラス名よりも判別性が高く文脈を含むテキスト表現であるエラボラティブ記述（ED）を各アクションクラスに対して生成する。
- 事前学習済み画像分類器を用いて動画内のオブジェクトを検出し、そのクラス名をエラボラティブコンセプト（EC）として使用し、動画の意味を豊かにする。
- TSMを用いた時空間的動画特徴と、ResNetを用いたオブジェクト特徴を統合する二重ストリームネットワークを採用し、マルチモーダルチャネルアテンション機構を用いて融合する。
- エラボラティブリハーサル（ER）損失を導入し、モデルが動画特徴をアクションEDおよびECと一致させることを促進することで、意味的リハーサルによる一般化性能の向上を図る。
- EDとECの両方を共有の埋め込み空間にマップすることで、クロスモodalなアライメントを実現し、未学習のアクションへの転移性を向上させる。
- ゼロショット一般化を同時に最適化するため、動画-アクションペアに対するコントラスト損失とER損失を用いてモデルを訓練する。
実験結果
リサーチクエスチョン
- RQ1より表現力のあるテキスト記述（ED）は、単なる単語埋め込みを越えてゼロショットアクション認識を向上させることができるか？
- RQ2画像モデルから得られるオブジェクトレベルの意味的コンセプト（EC）は、ZSARにおける動画表現と一般化性能を向上させることができるか？
- RQ3人間の記憶リハーサルを模倣した訓練目的関数（ER損失）は、未学習のアクションへの一般化を向上させることができるか？
- RQ4提案手法のZSARモデルは、現実的な設定下で1ショット教師あり学習と比較してどうなるか？
- RQ5本手法は、ラベル付きトレーニング例が一切ない状況でも、多様なアクションクラスに効果的に一般化できるか？
主な発見
- ER強化ZSARモデルは、Olympic Sports、HMDB51、UCF101ベンチマークで最先端の性能を達成し、UCF101ではトップ1正解率87.2％を記録した。
- BERTによるED符号化は、GloVeベースのプーリング手法よりも顕著に性能を向上させ、アクション記述における文脈理解の利点を示した。
- ER損失は、特に未学習のアクションにおいて、ゼロショット一般化を大幅に向上させ、意味的リハーサルの有効性を裏付けた。
- マルチモーダルアテンションを用いた時空間的（ST）およびオブジェクト特徴の統合が最良の性能をもたらし、単独のモodalでは上回れなかった。
- Kinetics ZSARでは、ゼロトレーニングデータで42.1％のトップ1正解率を達成し、1ショット教師ありベースラインを上回ったが、2ショット教師ありモデルにはまだ劣っていた。
- EDはオブジェクト表現に対しても有益である。オブジェクトクラス名をEDに置き換えることで性能が向上したため、エラボラティブ表現の普遍的有用性が示された。
![Figure 2 : Architecture of our ER-enhanced ZSAR model. The action class embedding function (left) extends action names to EDs towards action class embedding $z$ . The multimodal video embedding function generates spatio-temporal and object features $[x_{vo},x_{ov}]$ (middle) for the video. The ER lo](https://ar5iv.labs.arxiv.org/html/2108.02833/assets/figures/framework.png)
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。