[논문 리뷰] Privileged Knowledge Distillation for Online Action Detection

Peisen Zhao, Lingxi Xie외 3명|arXiv (Cornell University)|2020. 11. 18.

Human Pose and Action Recognition참고 문헌 44인용 수 7

한 줄 요약

이 논문은 온라인 행동 검출을 위한 새로운 지식 정련 프레임워크인 프라이빗드지식 정련(PKD)을 제안한다. 이 프레임워크는 훈련 중에 이용 가능한 향후 영상 프레임을 특권 정보로 활용하여 성능을 향상시킨다. 커리큘럼 학습과 보조 노드를 통해 오프라인 교사(전체 영상 사용)와 온라인 학생(현재 및 과거 프레임만 사용) 간의 입력 데이터 격차를 해소함으로써, PKD는 TVSeries에서 86.44% mcAP, THUMOS14에서 64.45% mAP를 기록하여 최신 기술 수준(SOTA)을 달성한다.

ABSTRACT

Online Action Detection (OAD) in videos is proposed as a per-frame labeling task to address the real-time prediction tasks that can only obtain the previous and current video frames. This paper presents a novel learning-with-privileged based framework for online action detection where the future frames only observable at the training stages are considered as a form of privileged information. Knowledge distillation is employed to transfer the privileged information from the offline teacher to the online student. We note that this setting is different from conventional KD because the difference between the teacher and student models mostly lies in input data rather than the network architecture. We propose Privileged Knowledge Distillation (PKD) which (i) schedules a curriculum learning procedure and (ii) inserts auxiliary nodes to the student model, both for shrinking the information gap and improving learning performance. Compared to other OAD methods that explicitly predict future frames, our approach avoids learning unpredictable unnecessary yet inconsistent visual contents and achieves state-of-the-art accuracy on two popular OAD benchmarks, TVSeries and THUMOS14.

연구 동기 및 목표

• 추론 시 현재 및 과거 프레임만 이용 가능한 실시간 온라인 행동 검출의 과제를 해결한다.
• 훈련 중에 이용 가능한 향후 프레임을 특권 정보로 활용하여 온라인 모델 성능을 향상시킨다.
• 주로 아키텍처의 차이가 아닌 입력 차이에 기인한 교사(전체 영상 사용)와 학생(부분 입력) 간의 불일치를 해결하기 위해 입력 차이를 고려한 특화된 지식 정련 프레임워크를 설계한다.
• 보조 노드와 커리큘럼 학습을 통해 교사 및 학생 모델 간의 정보 격차를 줄여 조기 행동 검출 성능을 향상시킨다.

제안 방법

• 전체 영상 시퀀스로 훈련된 오프라인 교사 모델이 현재 및 과거 프레임만 관찰하는 온라인 학생 모델을 지도하는 지식 정련 프레임워크를 도입한다.
• 학생 모델을 점진적으로 더 긴 향후 프레임을 포함한 중간 교사 모델 시퀀스로 훈련함으로써 커리큘럼 학습을 적용한다. 이는 짧은 시퀀스에서 시작하여 점차 더 긴 시퀀스로 진행된다.
• 학생 네트워크의 각 레이어에 보조 노드를 삽입하여 특정 특징 표현을 정규화함으로써, 동일한 아키텍처가 아니더라도 교사의 출력과의 보다 나은 정렬을 가능하게 한다.
• 고수준의 의미적 지식을 교사에서 학생으로 전달하기 위해 지식 정련을 사용하며, 이는 학생이 명시적인 향후 프레임 예측 없이도 미래 행동 의미를 사전에 예측하도록 암묵적으로 이끌어낸다.
• 부드러운 레이블 지식 전이 기반의 정련 손실을 제안하며, 이는 학생이 교사의 행동 분류 확률을 모방하도록 유도한다.
• 지속적인 훈련을 위해 진짜 레이블에 대한 교차 엔트로피 손실과 교사로부터의 정련 손실을 조합하여 학생 모델을 최적화하며, 훈련 안정화를 위해 커리큘럼 스케줄링을 적용한다.

실험 결과

연구 질문

• RQ1 훈련 중에 이용 가능한 향후 영상 프레임을 특권 정보로 효과적으로 활용하여 온라인 행동 검출 성능을 향상시킬 수 있는가?
• RQ2 주로 아키텍처의 차이가 아닌 입력 데이터의 차이에 기인한 교사와 학생 모델 간 격차를 메우기 위해 지식 정련을 어떻게 적응시킬 수 있는가?
• RQ3 커리큘럼 학습을 통해 학생이 점차 더 복잡한 특권 정보에 노출되도록 하여 정련 과정을 향상시킬 수 있는가?
• RQ4 학생 네트워크에 삽입된 보조 노드가 정보 격차를 줄이고 교사와의 특징 정렬을 향상시키는 데 기여하는가?
• RQ5 명시적인 향후 프레임 예측 방법에 비해 정확도와 효율성 측면에서 제안된 방법이 온라인 행동 검출에서 더 뛰어난 성능을 보이는가?

주요 결과

• 제안된 PKD 프레임워크는 TVSeries 벤치마크에서 86.44% mcAP, THUMOS14 벤치마크에서 64.45% mAP를 기록하여 최신 기술 수준의 성능을 달성한다.
• TRN 및 F2G와 같은 명시적 향후 프레임 예측 기반 방법을 포함한 이전 모든 방법보다 THUMOS14에서 1.7퍼센트 포인트 이상 높은 성능을 기록한다.
• 모든 행동 단계에서 뛰어난 성능를 보이며, 행동의 60%-70% 구간에서 최고의 mcAP 89.0%를 기록하여 강력한 조기 검출 능력을 입증한다.
• 정성적 결과에서 PKD는 TVSeries에서 이전에 놓쳤던 행동 인스턴스, 예를 들어 "Fall", "Answer phone", "Drive car"를 검출함으로써 검출의 강건성 향상을 입증한다.
• 제거 분석 결과, 커리큘럼 학습과 보조 노드 모두 성능 향상에 기여하며, 두 요소의 조합이 가장 우수한 성능를 낳는다.
• 기준 모델에 비해 일관된 출력을 보이며 시간에 따라 안정적이고 정확한 예측을 하는 것으로 확인되었으며, 이는 "Hammer Throw" 행동 시퀀스에서 두드러진다.