[논문 리뷰] Reasoning about Actions over Visual and Linguistic Modalities: A Survey

Shailaja Keyur Sampat, Maitreya Patel외 3명|arXiv (Cornell University)|2022. 07. 15.

Semantic Web and Ontologies인용 수 6

한 줄 요약

이 종합 검토는 시각적 및 언어적 모odalities를 활용한 행동에 대한 추론 분야의 최근 발전을 종합적으로 분석하며, 시각-언어 AI 분야의 작업, 데이터셋, 모델, 벤치마크를 다룹니다. 일반화 및 통합된 이해의 과제를 규명하고, 실제 응용 분야에서 강력하고 목표 지향적이며 사회적으로 인지하는 추론을 가능하게 하는 통합 프레임워크의 필요성을 주장합니다.

ABSTRACT

'Actions' play a vital role in how humans interact with the world and enable them to achieve desired goals. As a result, most common sense (CS) knowledge for humans revolves around actions. While 'Reasoning about Actions & Change' (RAC) has been widely studied in the Knowledge Representation community, it has recently piqued the interest of NLP and computer vision researchers. This paper surveys existing tasks, benchmark datasets, various techniques and models, and their respective performance concerning advancements in RAC in the vision and language domain. Towards the end, we summarize our key takeaways, discuss the present challenges facing this research area, and outline potential directions for future research.

연구 동기 및 목표

• 다중모달 이해에 중점을 두고, 시각-언어 AI에서 행동에 대한 추론 연구의 현재 상태를 종합하는 것.
• 시간 예측, 설명, 계획, 종속성과 같은 주요 추론 유형을 시각 및 언어 입력 간에 식별하고 분류하는 것.
• 기존 모델의 한계, 특히 다양한 행동 유형 간 일반화 부족과 통합된 이해의 결여를 부각하는 것.
• 의도, 사전 조건, 영향, 사회적 공통지식을 통합하는 종단간 행동 이해를 위한 통합 프레임워크를 제안하는 것.
• 강력하고 일반화 가능하며 사회적으로 인지하는 AI 에이전트를 위한 열린 과제와 향후 연구 방향을 제시하는 것.

제안 방법

• 시각, 자연어 처리(NLP), 지식 표현 분야에서 행동 추론(RAC)에 관한 200건 이상의 논문에 대한 체계적 종합 검토.
• 추론 유형을 다섯 가지 범주로 분류: 시간 예측, 시간적 설명, 목표 지향적 계획, 시간적 종속성, 다단계 추론.
• bAbI, ATOMIC, 이미지 기반 블록월드 작업과 같은 벤치마크 데이터셋 분석을 통해 모델 성능 및 일반화 능력 평가.
• 시각-언어 트랜스포머 및 지식 그래프 기반 시스템을 포함한 딥러닝 모델의 행동 추론 작업에 대한 평가.
• 모델 일반화 향상을 위한 전이 학습, 데이터 증강, 시야 변형 전략이 핵심 전략임을 규명.
• 행동 시퀀스 전반에 걸쳐 물리적, 사회적, 시간적 공통지식을 통합하는 통합된 행동 이해 프레임워크 제안.

실험 결과

연구 질문

• RQ1 시각-언어 작업에서 행동을 다룰 때 주요 추론 유형은 무엇이며, 어떻게 정의되고 평가되나요?
• RQ2 기존 모델은 행동 추론을 평가하는 벤치마크에서 어떻게 성능을 내며, 일반화 및 내구성 측면에서 어떤 한계를 지닙니까?
• RQ3 다양한 추론 유형과 모odalities 간에 다중모달 행동 이해를 통합하는 데 핵심적인 과제는 무엇입니까?
• RQ4 모델은 어떻게 물리적 및 사회적 공통지식(예: 자르기로 인한 상처 위험, 보관 부족으로 인한 상실)을 통합하여 행동의 사전 조건, 영향, 가상 시나리오를 추론할 수 있나요?
• RQ5 더 강력하고 일반화 가능하며 인간 수준의 추론을 가능하게 하는 데 있어 향후 연구 방향은 무엇입니까?

주요 결과

• 기존 모델은 정제된 벤치마크에서는 상당히 양호한 성능를 보이지만, 도메인 및 모달리티 간 일반화 능력에 빈도가 떨어집니다.
• 복잡한 결론을 유도하기 위해 다중 링크된 맥락적 추론을 연결하는 다단계 추론은 실제 세계의 추론에 있어 중요함에도 불구하고 여전히 개발이 부족합니다.
• 현재 접근 방식은 대부분 데이터셋에 특화되어 있으며, 다양한 행동 유형이나 추론 작업 간 지식 전이에 실패하고 있습니다.
• 행동의 의도, 사전 조건, 영향, 사회적 결과를 하나의 일관된 이해로 통합하는 통합 프레임워크의 긴급한 필요성이 있습니다.
• 전이 학습과 데이터 증강 전략은 일반화 향상에 점점 더 널리 사용되고 있지만, 행동 추론 분야에선 여전히 탐색이 부족합니다.
• 물리적 및 사회적 공통지식(예: 자르기로 인한 상처 위험, 보관 부족으로 인한 상실)의 통합은 필수적이지만, 현재 모델에서는 자주 누락되어 있습니다.