[論文レビュー] Reasoning about Actions over Visual and Linguistic Modalities: A Survey

Shailaja Keyur Sampat, Maitreya Patel+3 more|arXiv (Cornell University)|Jul 15, 2022

Semantic Web and Ontologies被引用数 6

ひとこと要約

本調査は、視覚的および言語的モダリティを用いた行動に関する推論における最近の進展を統合的に分析し、視覚・言語AI分野におけるタスク、データセット、モデル、ベンチマークを検討する。一般化と統合的理解の課題を特定し、現実世界の応用において堅牢で、目的志向的かつ社会的配慮のある推論を可能にする統合フレームワークの導入を提唱する。

ABSTRACT

'Actions' play a vital role in how humans interact with the world and enable them to achieve desired goals. As a result, most common sense (CS) knowledge for humans revolves around actions. While 'Reasoning about Actions & Change' (RAC) has been widely studied in the Knowledge Representation community, it has recently piqued the interest of NLP and computer vision researchers. This paper surveys existing tasks, benchmark datasets, various techniques and models, and their respective performance concerning advancements in RAC in the vision and language domain. Towards the end, we summarize our key takeaways, discuss the present challenges facing this research area, and outline potential directions for future research.

研究の動機と目的

• 視覚・言語AIにおける行動に関する推論に関する研究の現状を、マルチモーダル理解に焦点を当てて統合する。
• 視覚および言語入力の両方において、時間的予測、説明、計画、依存関係といった主な推論タイプを特定・分類する。
• 既存モデルの限界、特に一般化能力の低さや、行動タイプにわたる統合的理解の欠如を強調する。
• 意図、事前条件、効果、社会的共通知識を統合するエンドツーエンドの行動理解フレームワークを提唱する。
• 堅牢で一般化可能かつ社会的配慮のあるAIエージェントを実現するための、未解決の課題と今後の研究方向性を提示する。

提案手法

• 視覚、自然言語処理、知識表現の分野における200件以上の行動推論（RAC）関連研究を体系的に調査する。
• 推論タイプを5つのカテゴリに分類する：時間的予測、時間的説明、目的志向的計画、時間的依存関係、マルチホップ推論。
• bAbI、ATOMIC、画像ベースのブロックワールドタスクなどのベンチマークデータセットを分析し、モデルの性能と一般化能力を評価する。
• 視覚言語トランスフォーマーおよび知識グラフベースのシステムを含むディープラーニングモデルの、行動推論タスクへの適用を評価する。
• トランスファーラーニング、データオーグメンテーション、ビューの変異処理が、モデルの一般化を向上させるための鍵となる戦略であると特定する。
• 行動シーケンス全体にわたって物理的・社会的・時間的共通知識を統合する統一された行動理解フレームワークを提唱する。

実験結果

リサーチクエスチョン

• RQ1 視覚・言語タスクにおける行動に関する推論の主なタイプは何か。それらはどのように定義され、評価されるのか。
• RQ2 既存のモデルは、行動推論のベンチマークでどの程度の性能を示しており、一般化性と耐障害性においてどのような限界を抱えているのか。
• RQ3 異なる推論タイプやモダリティにわたるマルチモーダル行動理解を統合する上で、核心的な課題は何か。
• RQ4 モデルは、行動の事前条件、効果、仮説的シナリオを推論するために、物理的および社会的共通知識をどのように統合できるか。
• RQ5 AIエージェントがより堅牢で一般化可能かつ人間並みの推論を実現するための今後の研究方向性は何か。

主な発見

• 既存のモデルは、整理されたベンチマークでは比較的良い性能を示すが、ドメインやモダリティにわたる一般化能力に欠けている。
• マルチホップ推論（複数の文脈的推論を結びつけて複雑な結論を導く）は、現実世界の推論において極めて重要であるにもかかわらず、未だに十分に発展していない。
• 現在のアプローチは主にデータセット特化的であり、異なる行動タイプや推論タスク間での知識の転送に失敗している。
• 行動の意図、事前条件、効果、社会的結果を統合的に理解するための統一フレームワークの構築が、極めて重要である。
• トランスファーラーニングおよびデータオーグメンテーション戦略は、一般化を向上させるためにますます利用されているが、行動推論分野ではまだ十分に検討されていない。
• 物理的および社会的共通知識（例：切り傷のリスク、保存が不適切な場合の腐敗）の統合は、現実のモデルにおいて本質的であるが、しばしば欠落している。