[논문 리뷰] Multimodal Subtask Graph Generation from Instructional Videos

Yunseok Jang, Sungryull Sohn외 4명|arXiv (Cornell University)|2023. 02. 17.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 시각적 신호와 언어적 신호를 통합하여 노이즈가 있는 지침 영상에서 누락된 보조작업을 추론하고 인과적 의존 관계를 모델링함으로써 보조작업 그래프를 생성하는 다중모odal 접근법 MSG²를 제안한다. 이는 ProceL 및 CrossTask 데이터셋에서 각각 85%와 30%의 성능 향상을 보이며, 비디오 트랜스포머 모델보다 최신 기술 수준(SOTA)을 초월한다.

ABSTRACT

Real-world tasks consist of multiple inter-dependent subtasks (e.g., a dirty pan needs to be washed before it can be used for cooking). In this work, we aim to model the causal dependencies between such subtasks from instructional videos describing the task. This is a challenging problem since complete information about the world is often inaccessible from videos, which demands robust learning mechanisms to understand the causal structure of events. We present Multimodal Subtask Graph Generation (MSG2), an approach that constructs a Subtask Graph defining the dependency between a task's subtasks relevant to a task from noisy web videos. Graphs generated by our multimodal approach are closer to human-annotated graphs compared to prior approaches. MSG2 further performs the downstream task of next subtask prediction 85% and 30% more accurately than recent video transformer models in the ProceL and CrossTask datasets, respectively.

연구 동기 및 목표

• 다양한 노이즈가 있는 지침 영상에서 실제 작업의 보조작업 간 인과적 의존 관계를 모델링하기 위해.
• 웹 영상에서 발생하는 데이터 노이즈—예: 누락된, 순서가 뒤바뀐, 부분적으로 애너테이션된 보조작업—을 다중모달 추론을 통해 해결하기 위해.
• 이전 방법들과 비교해 더 표현력 있는 보조작업 그래프 표현을 제공하여 복잡한 의존 관계(예: AND 조건)를 포괄하기 위해.
• 유추된 보조작업 그래프의 구조를 활용해 후속 작업 성능, 특히 다음 보조작업 예측 성능을 향상시키기 위해.
• 다양한 영상 시연에 일반화되고 완전하지 않거나 일관되지 않은 애너테이션을 처리할 수 있는 견고한 프레임워크를 개발하기 위해.

제안 방법

• 비디오 프레임과 자동 음성 인식(ASR)으로 생성된 텍스트를 활용해 각 보조작업의 진행 상황을 다중모달 보조작업 상태 예측을 통해 추론한다.
• 불완전하고 노이즈가 있는 보조작업 순서에서 보조작업 간 의존 관계를 추론하기 위해 복잡도 제약이 있는 인도크티브 논리 프로그래밍(ILP) 방법을 적용한다.
• 다중 전제 조건과 복잡한 의존 관계를 모델링하기 위해 표현력 있는 노드(예: AND 노드)를 포함한 보조작업 그래프를 구축한다.
• 동일한 작업의 여러 비디오 인스턴스를 활용해 정보를 통합하고 데이터 노이즈에 대한 강건성을 향상시킨다.
• 시각적 및 언어적 신호를 통합해 애너테이션에 존재하지 않는 보조작업(예: 생략되거나 애너테이션되지 않은 단계)을 복구한다.
• 두 단계로 구성된 파이프라인을 활용한다: 첫 번째 단계에서는 각 비디오의 보조작업 상태를 예측하고, 두 번째 단계에서는 집계된 예측 결과로부터 통합된 보조작업 그래프를 생성한다.

실험 결과

연구 질문

• RQ1 다양한 노이즈가 있고 불완전한 지침 영상에서 보다 견고하게 인과적 보조작업 의존 관계를 추론할 수 있는 방법은 무엇인가?
• RQ2 애너테이션 오류가 존재하는 환경에서 다중모달 신호(시각적 및 언어적)가 보조작업 복구 및 그래프 구조 예측에 얼마나 기여하는가?
• RQ3 복잡도 정규화가 적용된 ILP 접근법이 노이즈가 많고 불완전한 보조작업 순서에서 정확한 보조작업 그래프를 효과적으로 생성할 수 있는가?
• RQ4 종료형 비디오 모델링과 비교했을 때, 유추된 보조작업 그래프가 다음 보조작업 예측과 같은 후속 작업 성능에 어떻게 기여하는가?
• RQ5 다양한 비디오 시연을 사용할 경우 보조작업 그래프 생성의 강건성과 정확도에 어떤 영향을 미치는가?

주요 결과

• MSG²는 이전 방법들과 비교해 인간 애너테이션 기반 그래프에 훨씬 더 가까운 보조작업 그래프를 생성하여 구조적 정확도 향상을 입증한다.
• ProceL 데이터셋에서 최근 비디오 트랜스포머 모델보다 다음 보조작업 예측 정확도를 85% 향상시켰다.
• CrossTask 데이터셋에서는 최신 기술 수준의 비디오 트랜스포머보다 다음 보조작업 예측 정확도를 30% 향상시켰다.
• 다중모달 보조작업 상태 예측 모듈이 애너테이션에 존재하지 않는 보조작업을 효과적으로 복구하여 그래프의 완전성을 향상시켰다.
• 복잡도 제약이 있는 ILP 접근법이 노이즈가 많고 불완전한 데이터를 효과적으로 처리하여 더 신뢰할 수 있고 해석 가능한 보조작업 그래프를 생성했다.
• 두 단계 설계—보조작업 상태 예측 이후 그래프 생성—은 종료형 대안보다 더 나은 일반화 능력과 성능을 달성했다.