[논문 리뷰] Talking about the Moving Image: A Declarative Model for Image Schema Based Embodied Perception Grounding and Language Generation

Jakob Suchan, Mehul Bhatt외 1명|arXiv (Cornell University)|2015. 08. 13.

Constraint Satisfaction and Optimization참고 문헌 35인용 수 3

한 줄 요약

이 논문은 이미지 스키마를 기반으로 시각적 공간적 동역학을 정립하고 움직이는 영상의 자연어 요약을 생성하기 위한 기제적, 제약 논리 프로그래밍 기반 모델을 제시한다. 이 모델은 공간어휘적 추상화, 이미지 스킴, 그리고 질의에 관용적인 언어 생성기를 통합하여 실세계 데이터에서 평균 문장 생성 시간 77.8ms, 요약당 평균 26.2개 문장을 달성하였다.

ABSTRACT

We present a general theory and corresponding declarative model for the embodied grounding and natural language based analytical summarisation of dynamic visuo-spatial imagery. The declarative model ---ecompassing spatio-linguistic abstractions, image schemas, and a spatio-temporal feature based language generator--- is modularly implemented within Constraint Logic Programming (CLP). The implemented model is such that primitives of the theory, e.g., pertaining to space and motion, image schemata, are available as first-class objects with `deep semantics' suited for inference and query. We demonstrate the model with select examples broadly motivated by areas such as film, design, geography, smart environments where analytical natural language based externalisations of the moving image are central from the viewpoint of human interaction, evidence-based qualitative analysis, and sensemaking. Keywords: moving image, visual semantics and embodiment, visuo-spatial cognition and computation, cognitive vision, computational models of narrative, declarative spatial reasoning

연구 동기 및 목표

• 움직이는 영상의 자연어 요약을 위해 시각적 공간적 인지의 동적 특성을 이미지 스킴에 기반한 일반 이론과 기제적 모델로 정립하는 것.
• 공식적이고 질의 가능한 표현을 사용하여 움직이는 영상 속 공간, 운동, 시간적 동역학에 대한 깊이 있는 의미론적 추론을 가능하게 하는 것.
• 완전히 기제적 논리 프로그래밍 프레임워크를 통해 시각적 입력에서 언어로, 그리고 그 반대로의 이중 방향 추론을 지원하는 것.
• 영화, 디자인, 지공간 분석, 스마트 환경 등의 분야에서 분석적 언어 생성을 위한 모듈러하고 발전에 용이한 시스템을 제공하는 것.
• 이미지 스킴과 정성적 시공간 추상화를 인지 시각과 인간-컴퓨터 상호작용의 기초 원천으로 사용할 수 있는 가능성을 입증하는 것.

제안 방법

• 모델는 제약 논리 프로그래밍(CLP)으로 구현되어 이미지 스킴, 공간 관계, 운동 프리미티브를 의미적으로 풍부한 첫 번째급 객체로 취급한다.
• 컴퓨터 비전에서 유도된 시공간적 특징(예: 광학 흐름, HOG, 얼굴 검출)이 정성적이고 언어적으로 유도된 표현으로 추상화된다.
• 이미지 스킴(예: 포함, 경로, 출발지-경로-목표지)은 CLP 프레임워크 내에서 기제적이고 추론 기능을 갖춘 구조로 형식화된다.
• 언어 생성기 컴ponent는 논리 기반 문법 트리와 어휘 매핑을 사용하여 현재, 과거, 미래 시제의 자연어 요약을 생성한다.
• 시스템은 이중 방향 질의를 지원한다: 입력 데이터에서 문장으로, 또는 문장에서 언어적 및 의미적 분해로의 전환.
• 전체 파이프라인은 모듈러하고 발전에 용이하여, 사실, 규칙, 제약 조건을 추가하거나 제거해도 생성 과정이 손상되지 않는다.

실험 결과

연구 질문

• RQ1 어떻게 기제적 논리 프레임워크 내에서 이미지 스킴을 의미적으로 풍부한 첫 번째급 객체로 공식화할 수 있는가?
• RQ2 이미지 스킴과 시공간 추상화에 기반한 기제적 모델이 시각적 입력과 자연어 출력 간의 이중 방향 추론을 얼마나 잘 지원할 수 있는가?
• RQ3 제약 논리 프로그래밍 기반 시스템이 동적 시각적 장면에서 효율적이고 질의에 관용적이며 언어적으로 정확한 언어 생성을 달성할 수 있는가?
• RQ4 이 모델은 영화, 디자인, 지공간 분석 등의 다양한 분야에서 움직이는 영상의 분석적으로 의미 있는, 맥락적으로 일관된 요약을 얼마나 효과적으로 생성할 수 있는가?
• RQ5 실세계 시각 데이터에서 이전에 완전히 기제적이고 기호적인 접근 방식을 사용해 자연어 요약을 생성할 경우 성능 오버헤드는 어느 정도인가?

주요 결과

• 모델는 단순 시제 평균 문장 생성 시간 77.8ms, 연속 시제 84.48ms, 복합 문장 1.32ms를 기록하였다.
• 요약당 평균 26.2개 문장을 포함하였으며, 평균 문장 길이가 17.6 토큰이었고, 이는 높은 출력 밀도와 일관성의 증거였다.
• 언어 생성 시스템은 완전히 기제적이며 발전에 용이하여, 사실이나 규칙이 추가되거나 제거되어도 정확성과 일관성이 유지되었다.
• 시스템은 성공적으로 이중 방향 질의를 지원하였으며, 시각적 입력에서 문장으로, 그리고 문장에서 언어적 및 의미적 분해로의 전환을 가능하게 하였다.
• 25명의 피험자 500개의 IDS 인스턴스에 대한 실증 평가를 통해 모델의 강건성과 확장성을 실세계 환경에서 확인하였다.
• 이 모델는 동적 시각적 데이터의 정성적이고 의미 해석 중심의 분석이 필요한 보조 기술 및 인지 시스템 분야에서 큰 잠재력을 보였다.