[논문 리뷰] TKD: Temporal Knowledge Distillation for Active Perception

Mohammad Farhadi, Yezhou Yang|arXiv (Cornell University)|2019. 03. 04.

Advanced Neural Network Applications참고 문헌 47인용 수 9

한 줄 요약

TKD는 LSTM 기반의 핵심 프레임 선택과 교사 제약 손실 함수를 사용하여 무거운 객체 검출 모델에서 경량 학생 모델로 동적이고 맥락 인식 지식을 전달하는 시간 지식 정복 프레임워크를 제안한다. 이는 약 220 FPS에서 실시간 추론을 가능하게 하며, 특히 실내 및 실외 환경과 같은 도메인 적응 시나리오에서 오라클 모델에 가까운 정확도를 유지한다.

ABSTRACT

Deep neural networks based methods have been proved to achieve outstanding performance on object detection and classification tasks. Despite significant performance improvement, due to the deep structures, they still require prohibitive runtime to process images and maintain the highest possible performance for real-time applications. Observing the phenomenon that human vision system (HVS) relies heavily on the temporal dependencies among frames from the visual input to conduct recognition efficiently, we propose a novel framework dubbed as TKD: temporal knowledge distillation. This framework distills the temporal knowledge from a heavy neural networks based model over selected video frames (the perception of the moments) to a light-weight model. To enable the distillation, we put forward two novel procedures: 1) an Long-short Term Memory (LSTM) based key frame selection method; and 2) a novel teacher-bounded loss design. To validate, we conduct comprehensive empirical evaluations using different object detection methods over multiple datasets including Youtube-Objects and Hollywood scene dataset. Our results show consistent improvement in accuracy-speed trad-offs for object detection over the frames of the dynamic scene, compare to other modern object recognition methods.

연구 동기 및 목표

• 실시간 로봇 인식에서 깊이 신경망의 높은 계산 비용과 느린 추론 문제를 해결하기 위해.
• 인간 시각 체계 적응을 영감으로 삼아 영상 시퀀스의 시간적 의존성을 활용하여 효율성과 정확도를 향상시키기 위해.
• 재학습 없이도 변화하는 시각 도메인(예: 실내 대비 실외)에 동적으로 적응할 수 있도록 경량 모델을 가능하게 하기 위해.
• 시간적 맥락을 유지하고 학생 모델 훈련 중 임의 경고를 줄이기 위해 지식 정복 방법을 설계하기 위해.
• 임베디드 및 모바일 로봇 시스템에 적합한 높은 정확도-속도 트레이드오프를 달성하기 위해.

제안 방법

• 장단기 기억(LSTM) 기반의 핵심 프레임 선택 모듈이 정점이 되는 영상을 식별하여, 장면 전환과 환경 변화에 집중한다.
• 지식 전달의 안정성을 높이기 위해 새로운 교사 제약 손실 함수를 도입하였으며, 정밀도와 재현율 간의 최적 균형을 확보하기 위해 경험적으로 λ = 0.4로 설정하였다.
• 프레임워크는 엔드 투 엔드 훈련을 수행하며, 오라클(교사) 모델에서 학생 모델로 시간적 맥락과 외관 분포 지식을 전달한다.
• 학생 모델은 선택된 핵심 프레임만을 기반으로 훈련되어 계산 부담을 줄이면서도 인식 성능를 유지한다.
• 손실 함수는 계산적으로 효율적이며, 객체 수에 따라 선형적으로 증가하는 NMS 기반 방법과는 달리 일정한 실행 시간을 가진다.
• 도메인 적응이 가능하다: 재학습 없이 TV 시리즈의 새로운 에피소드에서 테스트한 결과, 기준 학생 모델 대비 정밀도가 6% 향상되었다.

실험 결과

연구 질문

• RQ1 시간 지식 정복이 모바일 로봇을 위한 실시간 객체 검출에서 정확도-속도 트레이드오프를 향상시킬 수 있는가?
• RQ2 영상 시퀀스의 시간적 의존성을 효과적으로 활용하여 경량 모델 성능을 향상시킬 수 있는가?
• RQ3 무거운 오라클 모델의 지식을 활용해 경량 모델이 새로운 시각 도메인(예: 실내에서 실외로)에 동적으로 적응할 수 있는가?
• RQ4 과도한 임의 경고 생성 없이도 빠르고 안정적이며 정확한 정복을 가능하게 하는 손실 함수 설계는 무엇인가?
• RQ5 장면 변화 기반의 핵심 프레임 선택이 정복 효율성과 모델 일반화 능력을 어떻게 향상시키는가?

주요 결과

• TKD는 약 220장의 이미지/초의 처리 속도를 달성하여 자원 제약이 있는 시스템에서도 실시간 추론을 가능하게 한다.
• 재학습 없이도 TV 시리즈의 새로운 에피소드에서 테스트한 결과 정밀도가 6% 향상되어 강력한 도메인 적응 능력을 입증한다.
• λ = 0.4일 때 교사 제약 손실 함수는 과도한 임의 경고와 오라클 모델 노이즈에 대한 과적합을 방지하는 최적의 균형을 달성한다.
• 제안된 손실 함수는 객체 수에 따라 선형 증가하는 Mehta 등의 NMS 기반 손실과는 달리 일정한 계산 비용을 가진다.
• LSTM 기반의 핵심 프레임 선택은 정적 프레임 선택 전략에 비해 장면 전환 시 모델 안정성과 성능을 향상시킨다.
• TKD는 훈련 도메인 외의 객체에 대해서도 높은 재현율을 유지하여 모델의 일반화 능력이 뛰어나다는 것을 시사한다.