[논문 리뷰] HySTER: A Hybrid Spatio-Temporal Event Reasoner

Théophile Sautory, Nuri Cingillioglu외 1명|arXiv (Cornell University)|2021. 01. 17.

Semantic Web and Ontologies참고 문헌 28인용 수 4

한 줄 요약

HySTER는 시각적 인식을 위한 딥러닝과 시간적, 인과적, 물리적 사건에 대한 상징적 추론을 위한 답변집 프로그래밍(ASP)을 결합한 신경기호 비디오질의응답(VideoQA) 모델이다. 이는 도메인 독립적인 규칙을 활용하여 사건 탐지 및 인과적 추론을 수행함으로써 CLEVRER 데이터셋에서 최신 기준 성능을 달성하며, 설명 가능하고 일반화 가능한 비디오 이해를 가능하게 한다.

ABSTRACT

The task of Video Question Answering (VideoQA) consists in answering natural language questions about a video and serves as a proxy to evaluate the performance of a model in scene sequence understanding. Most methods designed for VideoQA up-to-date are end-to-end deep learning architectures which struggle at complex temporal and causal reasoning and provide limited transparency in reasoning steps. We present the HySTER: a Hybrid Spatio-Temporal Event Reasoner to reason over physical events in videos. Our model leverages the strength of deep learning methods to extract information from video frames with the reasoning capabilities and explainability of symbolic artificial intelligence in an answer set programming framework. We define a method based on general temporal, causal and physics rules which can be transferred across tasks. We apply our model to the CLEVRER dataset and demonstrate state-of-the-art results in question answering accuracy. This work sets the foundations for the incorporation of inductive logic programming in the field of VideoQA.

연구 동기 및 목표

• 엔드 투 엔드 딥러닝 모델이 복잡한 시간적 및 인과적 추론에서 투명성이 부족하고 어려움을 겪는 점을 해결하기 위해.
• 특히 답변집 프로그래밍(ASP)을 포함한 상징적 AI를 VideoQA에 통합하여 비디오 속 물리적 사건에 대해 조합적이고 설명 가능한 추론을 가능하게 하기 위해.
• 시간적, 인과적, 물리적 사건 추론을 위한 신경적 인식과 상징적 규칙을 결합한 일반화 가능한 프레임워크를 개발하기 위해.
• 신경기호 통합이 CLEVRER와 같은 추론 중심의 VideoQA 벤치마크에서 성능 향상에 기여하는지 입증하기 위해.
• 수동으로 설정된 규칙에 의존도를 줄이기 위해 데이터에서 규칙 학습이 가능한 인덕티브 논리 프로그래밍(ILP)을 VideoQA에 통합할 기반을 마련하기 위해.

제안 방법

• 모델은 비디오 프레임에서 객체 검출 및 특징을 추출하기 위해 Mask R-CNN을 인식 모듈로 사용하며, 이를 상징적 표현으로 매핑한다.
• ASP의 사실을 사용하여 시점별로 객체 식별자, 위치, 속도, 물리적 성질을 포함하는 상징적 장면 표현을 구성한다.
• 시간적 및 인과적 관계를 모델링하기 위해 이벤트 컬큘러스 프레임워크를 활용하며, $happens(E,T)$, $holdsAt(F,T)$, $initiates(E,F)$, $terminates(E,F)$ 등의 술어를 사용한다.
• 물리학, 인과성, 시간 논리에 관한 도메인 독립적 규칙을 ASP에 인코딩하여 충돌, 속도 변화, 객체 상호작용과 같은 사건에 대해 추론한다.
• 기하학적 거리와 속도 변화 임계값을 사용하여 충돌과 같은 물리적 사건을 탐지하기 위한 규칙를 설계하였으며, 이는 학습 데이터에서 최적화되었다.
• 객체 수준의 상징적 사실과 논리 규칙을 결합하여 답변 집합에 대한 질의 평가를 통해 자연어 질문에 답하는 추론 파이프라인을 구현한다.

실험 결과

연구 질문

• RQ1 딥러닝과 상징적 추론을 융합한 신경기호 접근 방식이 시간적 및 인과적 추론이 복잡한 VideoQA 과제에서 엔드 투 엔드 딥러닝 모델을 능가할 수 있는가?
• RQ2 일반적인 시간적 및 인과적 규칙을 사용하여 답변집 프로그래밍(ASP)이 비디오 속 충돌과 같은 물리적 사건을 효과적으로 모델링하고 추론할 수 있는가?
• RQ3 설계된 상징적 규칙가 CLEVRER와 같은 추론 중심의 VideoQA 벤치마크에서 정확도 향상에 얼마나 기여하는가?
• RQ4 ASP를 통한 상징적 추론이 순수 신경망 모델이 어려워하는 부정 및 수량 세는 복합 질문을 다룰 수 있는가?
• RQ5 수동으로 설정된 규칙에 의존도를 줄이기 위해 인덕티브 논리 프로그래밍(ILP)을 활용한 자동 규칙 학습을 지원할 수 있는가?

주요 결과

• HySTER는 CLEVRER 데이터셋에서 최신 기준 성능을 달성하여 기존 모델보다 질문-답변 정확도에서 뛰어난 성능을 보였다.
• Mask R-CNN 기반 인식 모듈은 1,000개의 학습 비디오에서 객체 검출 및 분류에 F1 스코어 0.991을 기록하여 고정밀도의 상징적 입력을 확보했다.
• 속도 변화 규칙는 충돌 유무에 따라 객체 쌍을 효과적으로 구분하며, 충돌 전후의 분포가 명확히 분리되어 있음을 보였다.
• 도로 충돌 탐지에 사용된 유클리드 거리 임계값은 비충돌 쌍을 효과적으로 걸러내면서도 대부분의 실제 충돌을 유지하는 데 성공했으며, 그 결과는 그림 2에 나타나 있다.
• 상징적 추론 구성요소는 부정 및 수량 세기와 같은 복합 질문을 정확하게 처리할 수 있었으며, 순수 신경망 모델이 여전히 어려워하는 문제를 해결했다.
• 다중 시간 프레임에 걸쳐 발생하는 사건을 탐지하는 데 있어 뛰어난 강건성을 보였으며, 충돌 전, 중, 후에 걸쳐 일관된 속도 변화 패턴을 보였다.