[논문 리뷰] Improving ProtoNet for Few-Shot Video Object Recognition: Winner of ORBIT Challenge 2022

Li Gu, Zhixiang Chi외 3명|arXiv (Cornell University)|2022. 10. 01.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 ORBIT 2022 Few-Shot Video Object Recognition Challenge의 수상자로, ProtoNet을 향상시키기 위해 세 가지 핵심 기법을 제안한다: 변환기 인코더를 사용한 임베딩 적응을 통한 프로토타입의 분류 가능성을 향상시키고, 일관된 시간적 커버리지와 샘플링 편향을 줄이기 위해 균일한 비디오 클립 샘플링을 도입하며, 에지 검출을 통한 잘못된 프레임 탐지로 정보가 적은 프레임을 걸러내는 방식이다. 이 방법은 기준 모델 대비 5.39%의 절대 정확도 향상을 기록하여 ORBIT 벤치마크에서 71.69%의 프레임 단위 정확도를 달성한다.

ABSTRACT

In this work, we present the winning solution for ORBIT Few-Shot Video Object Recognition Challenge 2022. Built upon the ProtoNet baseline, the performance of our method is improved with three effective techniques. These techniques include the embedding adaptation, the uniform video clip sampler and the invalid frame detection. In addition, we re-factor and re-implement the official codebase to encourage modularity, compatibility and improved performance. Our implementation accelerates the data loading in both training and testing.

연구 동기 및 목표

• 실제로 노이즈가 많은 환경에서, 특히 저품질이며 길이가 다양한 비디오 클립을 제공하는 视覚 장애를 가진 사용자를 고려해 소수의 비디오 객체 인식 문제를 해결하기 위해.
• 노이즈가 많고 혼잡한 비디오 입력과 길이가 다양할 수 있는 시퀀스에 직면했을 때, ProtoNet 기반 모델의 강건성과 정확도를 향상시키기 위해.
• 메타학습 프레임워크에서 비디오 인식을 위한 프로토타입 품질과 샘플링 효율성을 향상시키기 위해 적응형, 균일한, 필터링 메커니즘을 도입하기 위해.
• 재현 가능성과 향후 연구의 확장성을 지원하기 위해, 훈련 및 추론 속도 향상을 위한 데이터 파이프라인 최적화를 위해.

제안 방법

• 에피소드 단위로 프로토타입의 상호관계를 모델링하기 위해 단일 레이어의 변환기 인코더를 사용하여 지원 세트 프로토타입에 임베딩 적응을 적용함으로써, 각 에피소드의 분류 가능 표현을 향상시킨다.
• 랜덤 샘플링을 대체하여 균일한 비디오 클립 샘플러를 도입함으로써, 길이가 다른 비디오 간에도 일관된 시간적 커버리지가 확보되며, 짧은 비디오의 과도한 샘플링과 긴 비디오의 부족한 샘플링을 줄인다.
• 예를 들어 Canny와 같은 사전 훈련된 에지 검출기를 사용하여 실증적 임계값을 설정함으로써, 배경 전용 프레임과 같은 정보가 적은 프레임을 식별하고 제거하는 잘못된 프레임 탐지 기법을 구현한다.
• 샘플링된 클립의 다양성을 풍부하게 하고 일반화 능력을 향상시키기 위해 데이터 증강을 통합한다.
• 원본 ORBIT 코드베이스를 재구성하고 최적화하여, 훈련 및 추론 중 모두 2.7배 이상 빠른 데이터 로딩을 달성한다.
• 전체 파이프라인은 특징 추출기로 EfficientNet-B0를 사용하고, LITE 프레임워크에 따라 코사인 유사도를 사용한 에피소드 기반 훈련을 적용한다.

실험 결과

연구 질문

• RQ1 지원 비디오가 짧고, 노이즈가 많으며 길이가 다양할 경우, 소수의 비디오 객체 인식에서 프로토타입 품질을 어떻게 향상시킬 수 있는가?
• RQ2 소수의 학습에서 길이가 다양할 수 있는 비디오 시퀀스에서 분포 편향을 최소화하고 시간적 커버리지를 극대화하는 데 가장 효과적인 샘플링 전략은 무엇인가?
• RQ3 에지 기반의 잘못된 프레임 탐지 기법이 반복적이거나 배경 전용 프레임의 모델 성능에 미치는 영향을 어느 정도 줄일 수 있는가?
• RQ4 변환기 인코더를 통한 임베딩 적응이 에피소드 기반 학습에서 클래스 간 분류 가능성을 향상시키는 데 기여하는가?
• RQ5 실제 소수의 비디오 벤치마크에서 데이터 로딩 파이프라인 최적화를 통해 얻을 수 있는 성능 향상은 어느 정도인가?

주요 결과

• 제안된 방법은 기준 모델인 ProtoNet 대비 5.39%의 절대 정확도 향상을 기록하여 ORBIT 벤치마크에서 71.69%의 프레임 단위 정확도를 달성한다.
• 임베딩 적응만으로도 상호 프로토타입 어텐션을 통해 프로토타입의 분류 가능성을 향상시켜 정확도 향상에 2.87%포인트 기여한다.
• 균일한 비디오 클립 샘플링은 샘플링 편향을 줄이고 일관된 시간적 커버리지를 확보함으로써 정확도를 1.52%포인트 향상시킨다.
• 에지 검출을 통한 잘못된 프레임 탐지는 정보가 적은 프레임을 걸러내어 정확도에 0.12%포인트 기여한다.
• 다시 구성된 데이터 파이프라인은 훈련 및 테스트 중 모두 데이터 로딩 속도를 2.7배 이상 빠르게 하여 훈련 효율성을 크게 향상시킨다.
• 이 방법은 ORBIT 2022 도전 대회에서 12개의 제출 중 가장 높은 정확도를 기록했으며, 17명의 사용자 중 11명의 경우 다른 모든 참가자들을 능가했다.