[논문 리뷰] Predicting Motivations of Actions by Leveraging Text

Carl Vondrick, Deniz Oktay외 2명|arXiv (Cornell University)|2014. 06. 20.

Multimodal Machine Learning Applications인용 수 9

한 줄 요약

이 논문은 이미지 속 인간 행동의 동기를 예측하는 작업을 소개하며, 사전 훈련된 언어 모델을 활용해 텍스트에서 일반지식을 시각 시스템으로 전이하는 방법을 제안한다. 인과 그래프 모델을 통해 시각적 특징과 텍스트 지식을 통합함으로써, 시각 전용 기반 모델 대비 향상된 동기 예측 성능를 달성하며, 언어 기반 지식이 인간의 의도 이해를 향상시킨다는 것을 입증한다.

ABSTRACT

Understanding human actions is a key problem in computer vision. However, recognizing actions is only the first step of understanding what a person is doing. In this paper, we introduce the problem of predicting why a person has performed an action in images. This problem has many applications in human activity understanding, such as anticipating or explaining an action. To study this problem, we introduce a new dataset of people performing actions annotated with likely motivations. However, the information in an image alone may not be sufficient to automatically solve this task. Since humans can rely on their lifetime of experiences to infer motivation, we propose to give computer vision systems access to some of these experiences by using recently developed natural language models to mine knowledge stored in massive amounts of text. While we are still far away from fully understanding motivation, our results suggest that transferring knowledge from language into vision can help machines understand why people in images might be performing an action.

연구 동기 및 목표

• 컴퓨터 비전이 사람의 행동을 수행하는 '왜'를 이해하는 데에 미치지 못하는 격차를 보완하기 위해.
• 학습 및 평가를 위한 행동, 장면, 동기를 포함한 10,000장의 이미지로 구성된 새로운 데이터셋을 제안하기 위해.
• 대규모 비라벨 텍스트에서 유래한 지식이 시각 모델의 인간 행동 동기 추론 능력을 향상시키는지 조사하기 위해.
• 시각적 특징과 언어 기반 지식을 융합하는 프레임워크를 개발하여, 시각 전용 접근 방식보다 더 정확하게 동기를 예측하기 위해.

제안 방법

• 저자들은 문제를 연구하기 위해 행동, 장면, 동기를 포함한 약 10,000장의 이미지로 구성된 새로운 데이터셋을 수집하고 애너테이션한다.
• 최신 이미지 특징(예: [41]에서 유래)을 사용해 행동과 장면을 예측하는 시각 분류기를 훈련한다.
• 수십억 개의 웹 페이지를 훈련 데이터로 사용해 대규모 언어 모델을 학습하여 인간-물체 상호작용, 환경, 동기에 관한 텍스트 지식을 추출한다.
• 인과 그래프 모델은 시각적 단항 잠재변수와 언어 모델 점수로부터 유도된 이원 잠재변수를 조합하여 동기를 예측한다.
• 모델은 시각적 예측 결과와 언어 기반 의미 관계(예: '자전거를 타고 출퇴근하기')를 통합하여 동기 예측을 보완한다.
• 보류된 테스트 세트를 사용해 성능을 평가하고, 언어 지식 기여도를 분석하기 위해 위키백과 기반 언어 모델과 비교한다.

실험 결과

연구 질문

• RQ1 컴퓨터 비전 시스템은 행동을 인식하는 것을 넘어서 이미지 내 인간 행동의 동기를 예측할 수 있는가?
• RQ2 대규모 텍스트에서 추출한 지식이 시각 모델의 동기 예측 정확도 향상에 어느 정도 기여하는가?
• RQ3 언어 기반 일반지식 통합이 시각 전용 모델 대비 성능에 미치는 영향은 어떠한가?
• RQ4 언어 모델의 품질(예: 웹 vs. 위키백과)이 동기 예측 향상에 중요한 요소인가?
• RQ5 이미지 내 인간 행동의 동기를 예측하는 데 가장 예측력 있는 시각적 및 언어적 단서는 무엇인가?

주요 결과

• 언어 기반 지식와 시각적 특징을 융합한 제안된 방법은 동기 예측에서 시각 전용 기반 모델 대비 유의미하게 뛰어난 성능을 보였다.
• 웹으로 훈련된 언어 모델을 사용할 경우 위키백과로 훈련된 모델 대비 성능이 1점 향상되었으며, 이는 더 크고 다양한 텍스트 데이터가 지식 전이를 향상시킨다는 것을 시사한다.
• 행동과 장면을 완벽하게 인식할 수 있는 상황에서도 모델은 여전히 동기를 완전히 예측하지 못함으로써, 동기가 저수준의 시각적 개념과는 다름을 시사한다.
• 모델은 텍스트에서 유도된 의미 관계를 활용하기 때문에 타당한 실패 케이스를 생성함으로써, 언어 지식이 맥락 이해를 위한 추론에 기여한다는 것을 보여준다.
• 결과적으로, 시각적 특징만으로는 동기 예측에 부족하며, 외부의 일반지식(특히 텍스트에서 유래한)이 진전을 이끌어내는 데 필수적임을 시사한다.
• 프레임워크는 언어 모델이 고도의 시각적 이해, 특히 의도나 목적과 같은 추상적 개념에 대해 보다 나은 이해를 가능하게 하는 일반지식의 원천이 될 수 있음을 보여준다.