[논문 리뷰] Motion Question Answering via Modular Motion Programs

Mark Endo, Joy Hsu외 2명|arXiv (Cornell University)|2023. 05. 15.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 인간 운동 시퀀스에서 복잡하고 다단계의 시공간 추론을 평가하기 위한 새로운 벤치마크인 HumanMotionQA를 소개하고, 행동 경계 감독 없이 운동 개념, 특성 및 시간 관계를 지도하는 데 모듈러한 운동 프로그램을 사용하는 신경-기호 방법인 NSPose를 제안한다. NSPose는 기호 프로그램 실행과 모듈러 학습을 활용하여 엔드 투 엔드 기반 모델보다 우수한 성능을 내며, 개선된 시간적 지도 및 감소된 데이터 편향을 통해 BABEL-QA 데이터셋에서 최고 성능을 달성한다.

ABSTRACT

In order to build artificial intelligence systems that can perceive and reason with human behavior in the real world, we must first design models that conduct complex spatio-temporal reasoning over motion sequences. Moving towards this goal, we propose the HumanMotionQA task to evaluate complex, multi-step reasoning abilities of models on long-form human motion sequences. We generate a dataset of question-answer pairs that require detecting motor cues in small portions of motion sequences, reasoning temporally about when events occur, and querying specific motion attributes. In addition, we propose NSPose, a neuro-symbolic method for this task that uses symbolic reasoning and a modular design to ground motion through learning motion concepts, attribute neural operators, and temporal relations. We demonstrate the suitability of NSPose for the HumanMotionQA task, outperforming all baseline methods.

연구 동기 및 목표

• 실생활 맥락에서 장기적인 인간 운동 시퀀스에 대한 복잡하고 다단계의 추론을 평가하기 위한 벤치마크 부족 문제를 해결하기 위해.
• 행동 경계 애너테이션에 의존하지 않고, 트림되지 않은 운동 시퀀스에서 세밀한 시간적 추론이 가능한 방법을 개발하기 위해.
• 신경-기호 프레임워크를 통해 모듈러한 운동 개념과 시간 관계를 학습하여 운동 이해에서의 데이터 편향을 완화하기 위해.
• 기호 프로그램 실행을 통해 시간에 따라 운동 특성(예: 동작, 방향, 신체 부위)을 정확하게 지도하기 위해.
• 엔드 투 엔드 모델에 비해 모듈러하고 프로그램 기반의 추론이 운동 질의 응답의 일반화 능력과 정확도를 향상시키는지 입증하기 위해.

제안 방법

• 질문을 재귀적인 기호 프로그램으로 분해하여 운동 시퀀스에서 실행하는 신경-기호 프레임워크인 NSPose를 제안한다.
• 시간적 맥락을 유지하면서 행동 경계 없이 세밀한 추론이 가능한, f 프레임에 대해 o의 오버랩을 가지는 겹치는 운동 세그먼트를 사용한다.
• 질문-답변 쌍에 대한 엔드 투 엔드 학습을 통해 운동 표현과 언어 개념 임베딩을 공동으로 학습한다.
• ‘이전’, ‘이후’, ‘사이에’와 같은 관계를 모델링하기 위해 1D 컨볼루션 레이어(확장 또는 선형 레이어)를 시간 연산자로 활용한다.
• 각 프로그램 구성 요소가 특정한 운동 개념(예: ‘걷기’, ‘왼쪽 팔’) 또는 관계 유형에 대응하는 모듈러 설계를 도입한다.
• 정답 행동 경계에 의존하지 않는 약한 감독 설정을 사용하여 학습함으로써 데이터 편향을 감소시킨다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 모델에 비해 신경-기호 방법이 트림되지 않은 인간 운동 시퀀스에서 더 나은 시간적 지도를 달성할 수 있는가?
• RQ2 모듈러한 프로그램 학습이 세밀한 운동 특성(예: 신체 부위, 방향)과 시간 관계에 대해 얼마나 향상된 추론을 가능하게 하는가?
• RQ3 행동 경계 애너테이션의 필요성을 제거하면 운동 질의 응답의 일반화 능력과 강건성에 어떤 영향을 미치는가?
• RQ4 비교적 오버랩이 있는 세그먼트와 비오버랩 또는 진짜 경계 기반 세그먼트 간의 성능 및 맥락 보존 능력은 어떻게 다른가?
• RQ5 간단한 시간 연산자(예: 선형 대비 확장 컨볼루션)가 더 복잡한 아키텍처와 유사한 성능을 달성할 수 있는가?

주요 결과

• NSPose는 BABEL-QA 테스트 세트에서 전체 정확도 0.578을 기록하여 모든 엔드 투 엔드 기반 모델을 앞서며 성능을 뛰어넘었다.
• 겹치는 세그먼트 전략(f=16, o=8)은 비겹치는 세그먼트 대비 성능을 0.038 향상시켜 맥락 보존의 이점을 입증했다.
• NSPose의 약한 감독 설정은 진짜 행동 경계를 사용하는 변형보다 전체 정확도에서 0.025 높아, 감독 없이도 뛰어난 일반화 능력을 보였다.
• 1D 컨볼루션 시간 연산자는 선형 연산자(0.540)와 유사한 성능(0.578)을 기록하여 단순한 함수로도 효과적인 시간 추론이 가능함을 시사했다.
• NSPose는 동작 질의 작업에서 0.627의 정확도, 방향 질의에서 0.598의 정확도를 기록하여 복잡하고 다단계의 추론에서 뛰어난 성능을 보였다.
• 모델는 운동 개념의 새로운 조합에 대해 잘 일반화되며, 데이터 편향을 악용하지 않더라도 다양한 질문 유형에서 일관된 성능을 기록함으로써 성능의 일관성을 입증했다.