[논문 리뷰] Back to the Future: Knowledge Distillation for Human Action Anticipation

Vinh Cao Trần, Yang Wang외 1명|arXiv (Cornell University)|2019. 04. 09.

Human Pose and Action Recognition참고 문헌 25인용 수 7

한 줄 요약

이 논문은 액션 인식 네트워크를 사용하여 액션 예측 네트워크를 안내하는 지식 정련 프레임워크를 제안한다. 이는 새로운 위치 인식 손실 함수를 통해 비라벨링된 비디오 데이터를 활용하여, 예측 성능을 향상시키며, 관련된 시공간적 단서에 집중하도록 암시한다. 이 방법은 자율학습 설정에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We consider the task of training a neural network to anticipate human actions in video. This task is challenging given the complexity of video data, the stochastic nature of the future, and the limited amount of annotated training data. In this paper, we propose a novel knowledge distillation framework that uses an action recognition network to supervise the training of an action anticipation network, guiding the latter to attend to the relevant information needed for correctly anticipating the future actions. This framework is possible thanks to a novel loss function to account for positional shifts of semantic concepts in a dynamic video. The knowledge distillation framework is a form of self-supervised learning, and it takes advantage of unlabeled data. Experimental results on JHMDB and EPIC-KITCHENS dataset show the effectiveness of our approach.

연구 동기 및 목표

• 라벨링된 데이터가 제한된 상황에서 인간의 행동 예측 문제를 해결하기 위해 비라벨링된 비디오 데이터를 활용한다.
• 사전 훈련된 액션 인식 네트워크로부터 지식을 전이하여 액션 예측 성능을 향상시킨다.
• 동적 비디오에서 의미적 개념의 시간적 및 공간적 이동을 고려한 손실 함수를 설계한다.
• 인식 모델로부터의 정련을 통해 액션 예측에서 자율학습을 가능하게 한다.
• 미래 행동 예측을 위한 관련 비디오 세그먼트에 모델의 주의를 집중시킨다.

제안 방법

• 액션 인식 네트워크(선생)가 액션 예측 네트워크(학생)를 감독하는 지식 정련 프레임워크를 제안한다.
• 시간적 및 공간적 변형에도 불구하고 정렬을 보장하기 위해, 프레임 간 의미적 개념의 위치 이동을 다루는 새로운 손실 함수를 도입한다.
• 정련 과정은 비라벨링된 비디오 데이터를 사용하여, 예측 모델의 자율학습 전처리를 가능하게 한다.
• 학생 네트워크는 선생 네트워크의 주의 패턴을 모방함으로써 관련된 시공간적 특징에 주의를 기울인다.
• 프레임워크는 엔드 투 엔드로 훈련되며, 학생 네트워크는 미래 행동을 예측하면서 동시에 선생의 특징 표현과 일치하도록 최적화된다.
• 이 방법은 JHMDB와 EPIC-KITCHENS에서 평가되어, 낮은 데이터 환경에서의 효과성을 입증한다.

실험 결과

연구 질문

• RQ1 액션 인식 모델에서의 지식 정련이 액션 예측 성능을 향상시킬 수 있는가?
• RQ2 정련 과정에서 비디오 내 의미적 개념의 위치 이동을 효과적으로 모델링할 수 있는가?
• RQ3 비라벨링된 비디오 데이터를 통해 자율학습을 통해 얼마나 많은 성능 향상이 이루어지는가?
• RQ4 정련이 미래 예측을 위한 더 관련 있는 비디오 세그먼트에 모델의 주의를 집중시키는 데 기여하는가?
• RQ5 제한된 라벨링된 데이터를 가진 상황에서 자율학습 정련 프레임워크가 감독 기반 베이스라인을 능가할 수 있는가?

주요 결과

• 제안된 정련 프레임워크는 JHMDB 데이터셋에서 최신 기술 수준의 성능을 달성하여, 기준 방법 대비 예측 정확도를 향상시켰다.
• EPIC-KITCHENS 데이터셋에서는 특히 낮은 데이터 설정에서 액션 예측 정확도 향상이 뚜렷하게 나타났다.
• 위치 인식 손실 함수는 시간적 및 공간적 이동을 효과적으로 처리하여, 선생과 학생 간의 더 견고한 특징 정렬을 이끌었다.
• 정련 과정을 통해 비라벨링된 데이터를 활용함으로써 성능 향상이 크게 이루어졌으며, 자율학습 전처리의 효과성을 확인했다.
• 학생 네트워크는 향후 행동 신호와 일치하는 개선된 주의 맵을 통해 더 관련 있는 비디오 세그먼트에 주의를 기울이는 것을 확인했다.
• 프레임워크는 다양한 비디오 도메인에 대해 잘 일반화되며, JHMDB와 EPIC-KITCHENS 양쪽 모두에서 강력한 성능을 보였다.