[논문 리뷰] Disentangle and Remerge: Interventional Knowledge Distillation for Few-Shot Object Detection from A Conditional Causal Perspective

Jiangmeng Li, Yanan Zhang외 6명|arXiv (Cornell University)|2022. 08. 26.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 소수 샘플 객체 검출을 위한 인과 간섭 기반 지식 증류 방법인 D&R(Disentangle and Remerge)를 제안한다. 이 방법은 교사 모델 오류로 인한 성능 저하를 완화한다. 지식 증류를 구조적 인과 모델(Structural Causal Model)로 모델링하고 배경 조정(Backdoor Adjustment)을 적용함으로써 의미 특징 학습을 향상시켜 COCO 및 VOC 벤치마크에서 소수 샘플 설정에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Few-shot learning models learn representations with limited human annotations, and such a learning paradigm demonstrates practicability in various tasks, e.g., image classification, object detection, etc. However, few-shot object detection methods suffer from an intrinsic defect that the limited training data makes the model cannot sufficiently explore semantic information. To tackle this, we introduce knowledge distillation to the few-shot object detection learning paradigm. We further run a motivating experiment, which demonstrates that in the process of knowledge distillation, the empirical error of the teacher model degenerates the prediction performance of the few-shot object detection model as the student. To understand the reasons behind this phenomenon, we revisit the learning paradigm of knowledge distillation on the few-shot object detection task from the causal theoretic standpoint, and accordingly, develop a Structural Causal Model. Following the theoretical guidance, we propose a backdoor adjustment-based knowledge distillation method for the few-shot object detection task, namely Disentangle and Remerge (D&R), to perform conditional causal intervention toward the corresponding Structural Causal Model. Empirically, the experiments on benchmarks demonstrate that D&R can yield significant performance boosts in few-shot object detection. Code is available at https://github.com/ZYN-1101/DandR.git.

연구 동기 및 목표

• 지식 증류 과정에서 교사 모델 오류로 인한 소수 샘플 객체 검출 성능 저하 문제를 해결하기 위해.
• 소수 샘플 검출을 위한 지식 증류에서 성능 저하의 근본 원인을 인과 추론 관점에서 조사하기 위해.
• 교사 예측, 학생 학습, 타겟 레이블 간의 관계를 포괄하는 인과 모델을 개발하기 위해.
• 인과 구조에 간섭함으로써 학생의 일반화 성능을 향상시키는 배경 조정 기반 증류 방법을 설계하기 위해.
• 제안된 방법의 효과성과 강건성을 다양한 벤치마크와 교사 모델을 통해 검증하기 위해.

제안 방법

• 저자들은 소수 샘플 객체 검출에서 입력 데이터, 교사 모델 출력, 학생 예측 간의 인과 관계를 수식화하기 위해 구조적 인과 모델(Structural Causal Model, SCM)을 구축한다.
• 실제로 교사 모델의 오류가 학생 성능에 악영향을 미치며, 잠재적 혼동 요인으로 인해 표준 배경 조건 기준이 위반됨을 규명한다.
• D&R는 인과 그래프에 간섭하기 위해 배경 조정을 적용하여 증류 과정 중 교사 오류에서 진정한 의미 지식을 분리한다.
• 밀도 높은 의미적 감독을 제공하기 위해 텍스트 기반 교사(예: CLIP 텍스트 인코더)를 사용하여 특징 학습 효율성을 향상시킨다.
• 증류 손실에서 다양한 지식 구성 요소의 영향을 균형 잡기 위해 학습 가능한 초매개변수 α와 β를 도입한다.
• 온도 스케일링과 가중 손실 구성 요소를 활용해 증류 손실을 최적화하며, 제거 분석을 통해 최적의 초매개변수 설정을 확인한다.

실험 결과

연구 질문

• RQ1 강력한 교사 모델을 사용함에도 불구하고 지식 증류가 소수 샘플 객체 검출에서 성능을 떨어뜨리는 이유는 무엇인가?
• RQ2 교사 모델의 실질적 오류가 어떻게 전파되어 학생 모델의 예측 성능을 떨어뜨리는가?
• RQ3 인과 프레임워크를 통해 지식 증류에서 해로운 지식 전이를 식별하고 수정할 수 있는가?
• RQ4 고품질 지식만 전달되도록 보장하기 위해 증류 과정에 어떤 수정이 필요한가?
• RQ5 이미지 기반 또는 워드 임베딩 기반 교사 모델과 비교해 텍스트 기반 교사 모델은 성능 및 효율성 측면에서 어떻게 다른가?

주요 결과

• D&R는 COCO 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 30-shot 검출에서 mAP 21.66%를 기록하여 이전 방법들을 압도한다.
• VOC Novel Set 1에서 D&R는 10-shot 검출에서 66.8% mAP를 기록하여 모든 변형 중 두 번째로 높은 성능을 내며 w/o KD보다 뚜렷한 우수성을 보였다.
• CLIP(T)를 교사 모델로 사용할 경우 모든 샷 설정에서 상위 2위 성능을 기록하여 텍스트 기반 지식 증류의 효과성을 입증하였다.
• 증류 손실 가중치에 대해 강건하며, 가중치 5에서 최적 성능을 내고, 가중치 10에서도 뛰어난 성능을 기록하였다.
• CLIP(I+T)를 사용한 변형보다 D&R이 성능이 뛰어나, 이미지 인코더가 계산 비용 대비 최소한의 이점을 제공한다는 점을 시사한다.
• 제거 분석을 통해 α=4 및 β=0.5가 최고의 성능을 내며, 간섭 메커니즘에서 초매개변수 튜닝의 중요성을 입증하였다.