[논문 리뷰] Multi-Task Learning of Object State Changes from Uncurated Videos

Tomáš Souček, Jean-Baptiste Alayrac외 3명|arXiv (Cornell University)|2022. 11. 24.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 오직 노이즈가 많은 비디오 수준의 감독 신호만을 사용하여 장시간의 정제되지 않은 웹 영상에서 객체 상태와 상태를 변화시키는 행동을 동시에 국소화하는 다중 작업(self-supervised) 학습 프레임워크를 제안한다. 교차 작업 제약 조건과 엔드 투 엔드로 학습 가능한 아키텍처를 활용함으로써, 이 방법은 ChangeIt 데이터셋에서 이전의 단일 작업 접근 방식보다 상대적으로 40% 향상된 성능를 달성했으며, 에고센트릭 영상에 대해 강력한 제로샷 일반화 성능를 보였다.

ABSTRACT

We aim to learn to temporally localize object state changes and the corresponding state-modifying actions by observing people interacting with objects in long uncurated web videos. We introduce three principal contributions. First, we explore alternative multi-task network architectures and identify a model that enables efficient joint learning of multiple object states and actions such as pouring water and pouring coffee. Second, we design a multi-task self-supervised learning procedure that exploits different types of constraints between objects and state-modifying actions enabling end-to-end training of a model for temporal localization of object states and actions in videos from only noisy video-level supervision. Third, we report results on the large-scale ChangeIt and COIN datasets containing tens of thousands of long (un)curated web videos depicting various interactions such as hole drilling, cream whisking, or paper plane folding. We show that our multi-task model achieves a relative improvement of 40% over the prior single-task methods and significantly outperforms both image-based and video-based zero-shot models for this problem. We also test our method on long egocentric videos of the EPIC-KITCHENS and the Ego4D datasets in a zero-shot setup demonstrating the robustness of our learned model.

연구 동기 및 목표

• 장기간의 정제되지 않은 웹 영상에서 인간이 타임스탬프 경계를 수동으로 레이블링하지 않은 채 객체 상태 변화와 관련 행동을 학습하는 데 도전하는 것.
• 자신의 표현을 공유함으로써, 예를 들어 다양한 과일을 썰거나 액체를倒는 등의 관련된 상호작용 작업들 간에 효율적인 공동 학습을 가능하게 하는 것.
• 시간적 레이블이 없는 상황에서 객체 상태와 행동 간의 구조적 제약 조건을 활용하여 약한 감독으로부터 엔드 투 엔드 학습이 가능한 자기지도 학습 절차를 설계하는 것.
• 제3자 시점의 웹 영상에서 학습된 모델이 에고센트릭 영상 데이터셋인 EPIC-KITCHENS와 Ego4D에 대해 제로샷 전이 가능성(transferability)을 평가하는 것.

제안 방법

• 모델은 각 영상 클립에 대해 객체 상태(예: 전체, 썰림)와 상태를 변화시키는 행동(예: 썰기, 따르기)을 동시에 예측하는 다중 작업 신경망 아키텍처를 사용한다.
• 논리적 제약 조건(예: 각 영상에 대해 단 하나의 행동만 예측되며, 객체가 이미 최종 상태에 있을 경우 행동이 발생하지 않도록)을 강제함으로써 허위 레이블 샘플링 전략을 도입한다.
• 프레임 수준의 레이블 없이, 검색 쿼리(예: '파인애퍼를 어떻게 썰까?')에서 유도된 비디오 수준의 레이블만을 사용하여 엔드 투 엔드로 학습한다.
• 자기지도 학습을 통해 교차 작업 일관성을 강화한다: 예를 들어, 커피를 따르는 것과 물을 따르는 것 모두 컵이 빈 상태에서 가득 찬 상태로 전환됨을 모델이 학습한다.
• 백본은 단일 이미지 인코더(예: Swin-T)로, 냉동 특징이나 각 작업에 별도의 모델을 사용하지 않고 엔드 투 엔드로 미세조정된다.
• 대규모 데이터셋인 ChangeIt와 COIN을 포함하여 평가되며, 추가로 EPIC-KITCHENS와 Ego4D에서 제로샷 테스트를 수행한다.

실험 결과

연구 질문

• RQ1 다양한 객체 상태 변화와 행동 간의 효과적인 정보 공유를 가능하게 하는 다중 작업 네트워크 아키텍처는 무엇인가?
• RQ2 시간적 레이블이 없을 경우, 객체 상태와 행동 간의 구조적 제약 조건을 활용하여 자기지도 학습을 어떻게 설계할 수 있는가?
• RQ3 노이즈가 많고 정제되지 않은 웹 영상에서 학습된 모델은 제로샷 설정에서 에고센트릭 영상 데이터셋으로 효과적으로 일반화될 수 있는가?
• RQ4 장시간의 정제되지 않은 영상에서 단일 작업 기반 모델 대비 다중 작업 공동 학습이 정밀도와 내성에 있어 어떻게 비교되는가?

주요 결과

• 제안된 다중 작업 모델은 ChangeIt 데이터셋에서 이전의 단일 작업 방법 대비 상대적으로 40% 향상된 성능를 기록했으며, 상태 정밀도는 14%p 향상되고 행동 정밀도는 12%p 향상되었다.
• 이와 같은 벤치마크에서 이미지 기반 및 비디오 기반 제로샷 모델보다 뚜렷이 뛰어난 성능를 보이며, 자기지도 학습을 통한 공동 학습의 이점을 입증했다.
• 백본의 엔드 투 엔드 미세조정은 단일 이미지 인코더만을 사용함에도 불구하고 냉동 특징을 사용하는 것보다 성능 향상이 뚜렷했다.
• 제3자 시점에서 촬영된 영상에서 학습된 모델은 도메인 이동(제3자 시점에서 에고센트릭 시점으로의 전환)에도 불구하고, EPIC-KITCHENS와 Ego4D에서 이전의 연구들보다 더 뛰어난 성능를 보이며 강력한 제로샷 일반화 성능를 유지했다.
• 정성적 결과에서는 관련 영상가 정확히 검색하고, 초기 상태, 행동 상태, 종료 상태를 정확히 국소화하며, 다양한 영상 예제 간에 일관성을 유지함을 보였다.
• 낮은 분류 점수를 가진 관련 없는 영상들을 효과적으로 걸러내며, 다양한 영상 클립 간에 예측된 상태의 시각적 일관성을 유지한다.