[論文レビュー] Palm: Predicting Actions through Language Models @ Ego4D Long-Term Action Anticipation Challenge 2023

Daoji Huang, Otmar Hilliges+2 more|arXiv (Cornell University)|Jun 28, 2023

Multimodal Machine Learning ApplicationsComputer Science被引用数 3

ひとこと要約

Palmは、視覚言語モデルと大規模言語モデルを活用したフレームワークを提案し、エゴセントリック動画における長期的行動予測を実現する。画像キャプション生成と行動認識を活用して大規模言語モデル（LLM）のための自然言語プロンプトを生成する。Ego4D LTAチャレンジにおいて、テストセットで0.8856の行動編集距離を達成し、最先端の性能を発揮した。

ABSTRACT

We present Palm, a solution to the Long-Term Action Anticipation (LTA) task utilizing vision-language and large language models. Given an input video with annotated action periods, the LTA task aims to predict possible future actions. We hypothesize that an optimal solution should capture the interdependency between past and future actions, and be able to infer future actions based on the structure and dependency encoded in the past actions. Large language models have demonstrated remarkable commonsense-based reasoning ability. Inspired by that, Palm chains an image captioning model and a large language model. It predicts future actions based on frame descriptions and action labels extracted from the input videos. Our method outperforms other participants in the EGO4D LTA challenge and achieves the best performance in terms of action prediction. Our code is available at https://github.com/DanDoge/Palm

研究の動機と目的

• 将来の行動が不確実で、複数の妥当なシーケンスが存在するエゴセントリック動画における長期的行動予測の課題に対処すること。
• 共通の特徴に依存し、独立した動詞／名詞分類に依存する従来のモデルの限界を克服すること。
• 大規模言語モデルからの常識的推論を活用し、過去の行動と視覚的文脈を自然言語でエンコードすること。
• 構造化された言語プロンプトを通じて、過去と未来の行動の依存関係をモデル化することで予測を向上させること。
• MMRに基づく例示選択を用いたFew-shotプロンプティングにより、堅牢で多様な行動予測を実現すること。

提案手法

• 中間フレームからなる各過去行動セグメントに対して、画像キャプションモデルを用いて「A person is」から始まる記述的ナラティブを生成する。
• EgoVLPとTransformerに基づく行動認識モデルが、動画クリップから（動詞, 名詞）ペアを抽出する。
• 過去の行動記述とラベルを統合し、LLMの文脈完成タスクとしてフォーマットされた自然言語プロンプトを生成する。
• Few-shotプロンプトテンプレートには、指示、過去行動と将来シーケンスを含む例示、および過去行動のみのクエリが含まれる。
• MPNet埋め込みとコサイン類似度を用い、クエリとの意味的関連性と多様性のバランスを取るためにMMRベースの戦略で例示を選択する。
• LLM出力から複数の将来行動シーケンスをサンプリングし、正解との最小編集距離に基づいて最良のシーケンスを選択する。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルが、行動シーケンス内の構造的依存関係と常識的知識を活用することで、長期的行動予測の性能向上に寄与できるか？
• RQ2 画像キャプションと行動ラベルから導出される自然言語プロンプトは、LLMベースの行動予測にどの程度有効か？
• RQ3 プロンプト設計、特に例示選択とモデルサイズの影響は、予測の正確性と多様性にどのような影響を与えるか？
• RQ4 視覚的文脈（キャプション）と行動ラベルは、それぞれ予測性能にどのように寄与しているか？
• RQ5 モデル性能は、過去行動認識モジュールの正確性にどの程度制限されているか？

主な発見

• PalmはEgo4D Long-Term Action Anticipation Challenge 2023で最高の性能を達成し、テストセットで0.8856の行動編集距離を記録した。
• BLIP2をキャプション生成に用いることで、vit-gpt2を上回り、特に名詞予測の精度が向上し、名詞編集距離が0.6767にまで低下した。
• MMRベースの例示選択を導入することで、ランダム選択よりも性能が向上し、行動編集距離が0.8934に低下した。
• ナラティブと行動ラベルの両方をプロンプトに含めることで最高の結果が得られ、行動編集距離は0.8934となった。一方のモalityのみを用いた場合よりも優れた性能を示した。
• より大きなコンテキスト窓を持つGPT-Neo-1.3Bのような大規模言語モデルは、GPT-2の小規模バージョンよりも優れた結果を示し、より低い編集距離を達成した。
• 過去行動認識の正確性と編集距離の間に強い負の相関が確認され、モデル性能が認識品質に極めて敏感であることが示された。