[논문 리뷰] All About Knowledge Graphs for Actions

Pallabi Ghosh, Nirat Saini외 2명|arXiv (Cornell University)|2020. 08. 28.

Human Pose and Action Recognition참고 문헌 77인용 수 20

한 줄 요약

이 논문은 단어 임베딩, 동사-명사 쌍, 시각적 특징을 포함한 다수의 지식 표현을 사용하여 미사전 행동에 대한 일반화 능력을 향상시키기 위해 지식 그래프(KG) 기반 프레임워크를 제안한다. 하이브리드 KG를 구성하고 그래프 컬러션 네트워크(GCN)를 활용함으로써, 언어적 지식과 시각적 지식을 조합할 경우 특히 높은 성능 향상을 기록하며, 기준 방법 대비 UCF101에서 최대 15.8% 향상된 제로샷 정확도를 달성한다.

ABSTRACT

Current action recognition systems require large amounts of training data for recognizing an action. Recent works have explored the paradigm of zero-shot and few-shot learning to learn classifiers for unseen categories or categories with few labels. Following similar paradigms in object recognition, these approaches utilize external sources of knowledge (eg. knowledge graphs from language domains). However, unlike objects, it is unclear what is the best knowledge representation for actions. In this paper, we intend to gain a better understanding of knowledge graphs (KGs) that can be utilized for zero-shot and few-shot action recognition. In particular, we study three different construction mechanisms for KGs: action embeddings, action-object embeddings, visual embeddings. We present extensive analysis of the impact of different KGs in different experimental setups. Finally, to enable a systematic study of zero-shot and few-shot approaches, we propose an improved evaluation paradigm based on UCF101, HMDB51, and Charades datasets for knowledge transfer from models trained on Kinetics.

연구 동기 및 목표

• 다양한 지식 그래프(KG) 구축 방법이 제로샷 및 희소샷 행동 인식에 미치는 영향을 조사하기 위해.
• 학습된 행동 클래스에서 볼 수 없는 행동 클래스로 지식을 전이하는 데 있어 단어 기반, 동사-목적어 기반, 시각적 특징 기반 KG의 효과를 평가하기 위해.
• 정상적인 제로샷 및 희소샷 학습 벤치마크를 확보하기 위해 Kinetics(학습)와 UCF101, HMDB51, Charades(검증) 간 공통 클래스를 제거하는 강력한 평가 프레임워크를 개발하기 위해.
• 문장2vec를 통해 행동 문장을 순차적으로 모델링하면 행동 인식에 있어 단일 단어 임베딩보다 더 나은 의미 표현을 가능하게 한다는 것을 입증하기 위해.

제안 방법

• 행동 클래스 이름의 단어 임베딩을 사용하는 KG1, 행동 문장에서 유도된 동사-명사 쌍 임베딩을 사용하는 KG2, 희소샷 예제에서 유도된 시각적 특징 임베딩을 사용하는 KG3라는 세 가지 별도의 지식 그래프를 구축하기 위해.
• 다중 단어 행동 문장을 밀도 높은 의미 벡터로 인코딩하기 위해 문장2vec를 사용하여 단일 단어 임베딩 대비 표현 능력을 향상시키기 위해.
• 각 KG에 대해 그래프 컬러션 네트워크(GCN)를 구축하여, 학습된 행동 클래스에서 볼 수 없는 행동 클래스로 분류기 가중치를 전파하기 위해.
• 다양한 KG들을 조합하여(예: KG1 + KG2 + KG3) 희소샷 학습에서 특징 전달 능력을 향상시키는 하이브리드 지식 그래프를 구축하기 위해.
• 그래프 내에서 정보 전파와 스무딩을 최적화하기 위해 6층의 GCN을 최적 깊이로 설정하기 위해.
• Kinetics(학습)와 UCF101, HMDB51, Charades(검증) 간 공통 클래스를 제거하여 유효한 제로샷 및 희소샷 벤치마크를 확보하기 위해 새로운 평가 프로토콜을 설계하기 위해.

실험 결과

연구 질문

• RQ1 단어 임베딩, 동사-명사 쌍, 시각적 특징을 기반으로 한 다양한 지식 그래프 구축 방법이 제로샷 및 희소샷 행동 인식 성능에 미치는 영향는 어떠한가?
• RQ2 문장2vec를 통한 언어적 의미 표현과 시각적 특징 간의 상대적 기여도는 무엇인가? 즉, 볼 수 없는 행동에 대한 일반화 능력을 향상시키는 데 있어 어느 쪽이 더 효과적인가?
• RQ3 다양한 지식 그래프 유형(예: 언어적 및 시각적)을 조합하면 단일 유형을 사용할 경우보다 더 높은 성능을 달성할 수 있는가?
• RQ4 그래프 컬러션 네트워크(GCN)의 깊이가 행동 인식을 위한 지식 전달 성능에 미치는 영향는 어떠한가?
• RQ5 GCN 기반 지식 전달 방식이 가장 가까운 이웃의 분류기 가중치를 단순 선형 조합하는 것보다 얼마나 더 뛰어나게 성능을 향상시키는가?

주요 결과

• 다중 단어 행동 문장을 인코딩하기 위해 문장2vec를 사용하는 것은 의미 표현을 크게 향상시키며, 이는 단일 단어 임베딩 대비 더 나은 제로샷 인식 성능을 이끌어낸다.
• KG1(단어 기반), KG2(동사-명사 기반), KG3(시각적 특징 기반) 지식 그래프의 조합이 가장 높은 성능을 기록하며, 기준 방법 대비 UCF101에서 제로샷 정확도가 최대 15.8% 향상된다.
• 시각적 특징 기반 KG(KG3)는 "uneven bars" 및 "shoot gun"과 같이 뚜렷한 시각적 특징을 지닌 행동에서 가장 뛰어난 성능를 보이며, 이는 시각적 단서가 매우 분류 가능하기 때문이다.
• 6층의 GCN이 최적의 성능을 달성한다. 더 깊은 네트워크에서는 과도한 스무딩이 발생하고, 얕은 네트워크에서는 정보 전파가 제한된다.
• GCN 기반 접근 방식은 이웃 분류기 가중치의 단순 선형 조합보다 성능이 뛰어나며, 이는 그래프 내에서 구조화된 메시지 전달의 가치를 입증한다.
• 시각적 어텐션 맵(CAM)은 모델이 의미 있는 관계를 학습하고 있음을 확인한다. 예를 들어, "playing sitar"는 "playing guitar"에 의해 활성화되지만, "biking"과 같은 관련 없는 행동에는 영향을 주지 않는다. 이는 모델의 일반화 능력을 검증한다.