[論文レビュー] Disentangle and Remerge: Interventional Knowledge Distillation for Few-Shot Object Detection from A Conditional Causal Perspective

Jiangmeng Li, Yanan Zhang+6 more|arXiv (Cornell University)|Aug 26, 2022

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、教師モデルの誤りによって引き起こされる性能低下を軽減するための因果的介入に基づく知識蒸留手法D&R（Disentangle and Remerge）を提案する。知識蒸留を構造的因果モデルでモデル化し、バックドア補正を適用することで、意味特徴の学習を向上させ、COCOおよびVOCベンチマークで少サンプル設定において最先端の性能を達成した。

ABSTRACT

Few-shot learning models learn representations with limited human annotations, and such a learning paradigm demonstrates practicability in various tasks, e.g., image classification, object detection, etc. However, few-shot object detection methods suffer from an intrinsic defect that the limited training data makes the model cannot sufficiently explore semantic information. To tackle this, we introduce knowledge distillation to the few-shot object detection learning paradigm. We further run a motivating experiment, which demonstrates that in the process of knowledge distillation, the empirical error of the teacher model degenerates the prediction performance of the few-shot object detection model as the student. To understand the reasons behind this phenomenon, we revisit the learning paradigm of knowledge distillation on the few-shot object detection task from the causal theoretic standpoint, and accordingly, develop a Structural Causal Model. Following the theoretical guidance, we propose a backdoor adjustment-based knowledge distillation method for the few-shot object detection task, namely Disentangle and Remerge (D&R), to perform conditional causal intervention toward the corresponding Structural Causal Model. Empirically, the experiments on benchmarks demonstrate that D&R can yield significant performance boosts in few-shot object detection. Code is available at https://github.com/ZYN-1101/DandR.git.

研究の動機と目的

• 知識蒸留を用いる少サンプル物体検出において、教師モデルの誤りによって生じる性能低下を解消すること。
• 因果推論の観点から、少サンプル検出における知識蒸留における性能低下の根本的要因を特定すること。
• 教師の予測、学生の学習、ターゲットラベルの間の関係を捉える因果モデルを構築すること。
• 因果構造に介入することで学生の一般化性能を向上させるバックドア補正に基づく蒸留手法を設計すること。
• 提案手法の有効性とロバスト性を、複数のベンチマークおよび教師モデルを用いて検証すること。

提案手法

• 著者らは、少サンプル物体検出における入力データ、教師モデル出力、学生の予測の間の因果的関係を形式化するための構造的因果モデル（SCM）を構築した。
• 実際の教師モデルの誤差が学生の性能に悪影響を及えることが特定され、潜在的な交絡要因のため、標準的なバックドア基準が満たされないことが判明した。
• D&Rはバックドア補正を適用し、因果グラフ上で介入することで、蒸留過程において教師の誤りから真の意味的知識を分離した。
• テキストベースの教師（例：CLIPテキストエンコーダ）を用いて、密な意味的監視を提供することで、特徴学習の効率を向上させた。
• 蒸留損失における異なる知識コンポーネントの影響をバランスさせるために、学習可能なハイパーパrameter α と β を導入した。
• 温度スケーリングと重み付き損失コンポーネントを用いて蒸留損失を最適化し、アブレーションスタディにより最適なハイパーパrameter設定が確認された。

実験結果

リサーチクエスチョン

• RQ1 強力な教師モデルを用いても、なぜ知識蒸留が少サンプル物体検出で性能を低下させることがあるのか？
• RQ2 教師モデルの実際の誤差は、どのように伝搬され、学生モデルの予測を劣化させるのか？
• RQ3 因果フレームワークを用いることで、知識蒸留における有害な知識移行を特定・是正できるか？
• RQ4 高品質な知識のみが移行されるようにするためには、蒸留プロセスにどのような変更が必要か？
• RQ5 画像ベースまたはワード埋め込み教師と比較して、テキストベースの教師モデルは性能と効率の面でどのように異なるか？

主な発見

• COCOデータセットではD&Rが最先端の性能を達成し、30ショット検出で21.66%のmAPを記録した。
• VOCノーブルセット1では、10ショット検出で66.8%のmAPを達成し、全バリアントの中で2位となり、w/o KDに顕著に優れた性能を示した。
• CLIP(T)を教師モデルとして用いることで、全ショット設定でトップ2の性能を達成し、テキストベースの知識蒸留の有効性を裏付けた。
• 蒸留損失の重みに強く依存せず、重み5で最適な性能を発揮し、重み10でも強力な結果を示した。
• CLIP(I+T)を用いたバリアントよりもD&Rが優れており、画像エンコーダーが計算コストを増加させるのに対し、その恩恵は最小限であることが示された。
• アブレーションスタディにより、α=4 と β=0.5 が最良の性能をもたらすことが確認され、介入メカニズムにおけるハイパーパrameterチューニングの重要性が裏付けられた。