[論文レビュー] Learning From Multiple Experts: Self-paced Knowledge Distillation for Long-tailed Classification

Liuyu Xiang, Guiguang Ding+1 more|arXiv (Cornell University)|Jan 6, 2020

Anomaly Detection Techniques and Applications被引用数 16

ひとこと要約

本論文は、長尾分布の分類性能を向上させるために、複数のエキスパートモデルを、標本数が比較的バランスの取れた、基数に近いデータサブセット上で学習させ、それらの知識を統一された学生モデルに段階的に転送する自己スケジューリング知識蒸留フレームワーク、Learning From Multiple Experts (LFME) を提案する。この手法は、自己スケジューリングエキスパート選択とカリキュラムインスタンス選択の2つの適応的スケジューリング機構を用い、ベンチマークデータセットで最先端の性能を達成しており、従来手法に比べて平均精度で最大3.2%の向上を実現した。

ABSTRACT

In real-world scenarios, data tends to exhibit a long-tailed distribution, which increases the difficulty of training deep networks. In this paper, we propose a novel self-paced knowledge distillation framework, termed Learning From Multiple Experts (LFME). Our method is inspired by the observation that networks trained on less imbalanced subsets of the distribution often yield better performances than their jointly-trained counterparts. We refer to these models as 'Experts', and the proposed LFME framework aggregates the knowledge from multiple 'Experts' to learn a unified student model. Specifically, the proposed framework involves two levels of adaptive learning schedules: Self-paced Expert Selection and Curriculum Instance Selection, so that the knowledge is adaptively transferred to the 'Student'. We conduct extensive experiments and demonstrate that our method is able to achieve superior performances compared to state-of-the-art methods. We also show that our method can be easily plugged into state-of-the-art long-tailed classification algorithms for further improvements.

研究の動機と目的

• 現実世界の視覚タスクにおいて、少数クラスが過小に表現される長尾データ分布の課題に対処すること。
• 標本数が比較的バランスの取れた、基数に近いデータサブセットで学習された複数のエキスパートモデルの知識を活用することで、モデルの汎化性能を向上させること。
• エキスパートから統一された学生モデルへの効果的で段階的な知識転送を可能にする二段階の適応的学習スキームを設計すること。
• 既存の最先端手法と互換性を保ちつつ、長尾分類ベンチマークで最先端の性能を達成すること。

提案手法

• 本手法は、データ分布の「長尾度」を定量化するための4つの指標を導入し、標本数のバランスが取れており基数に近いサブセットを特定可能にする。
• エキスパートモデルは、これらのサブセット上で学習され、各エキスパートは同様のサンプル数（例：マニーショット、ミディアムショット、フェイシュット）を持つクラス群に特化する。
• 自己スケジューリングエキスパート選択（SpES）は、知識蒸留の過程で各エキスパートモデルの寄与度を動的に制御し、学生モデルが段階的に知識を吸収し、最終的には個々のエキスパートを上回る性能を達成できるようにする。
• カリキュラムインスタンス選択（CurIS）は、モデルの信頼度に基づいて訓練サンプルを容易なものから難しいものへと順序付け、学習の安定性と性能を向上させる。
• 知識蒸留は、学生モデルとエキスパートモデルの予測の間のクロスエントロピー損失を用い、自己スケジューリングによる適応的重み付けが施される。
• このフレームワークはプラグアンドプレイであり、クラスレベルのサンプリング、知識蒸留、損失再重み付けといった既存の長尾学習手法と互換性がある。

実験結果

リサーチクエスチョン

• RQ1 全長尾分布で統合的に学習するのではなく、標本数のバランスが取れており基数に近いサブセットで学習させることで、より高性能なエキスパートモデルが得られるか？
• RQ2 複数のエキスパートモデルからの知識をどのように適応的に統一された学生モデルに転送することで、個々のエキスパートを上回る性能を達成できるか？
• RQ3 モデル（エキスパート）レベルとインスタンスレベルの両方で学習プロセスをスケジューリングすることで、長尾分類性能にどのような影響を与えるか？
• RQ4 提案されたフレームワークは、既存の最先端長尾学習手法と効果的に組み合わせられ、さらなる性能向上をもたらすか？

主な発見

• 提案されたLFMEフレームワークは、3つのベンチマーク長尾分類データセットで最先端の性能を達成し、iNaturalist-2012データセットで平均37.2%の精度を記録し、従来手法を上回った。
• 自己スケジューリングエキスパート選択（SpES）は、インスタンスレベルおよびクラスレベルのサンプリングベースラインにおいて、それぞれ0.4%および1.3%の性能向上をもたらし、エキスパートの性能上限を克服した。
• カリキュラムインスタンス選択（CurIS）は、知識蒸留によって生じる少量クラスの精度低下を補い、1.0%の精度向上を達成した。
• クラスレベルのサンプリング、知識蒸留、SpES、CurISの組み合わせにより、iNaturalist-2012で平均47.1%の精度が達成され、クラスレベルのサンプリングと知識蒸留のみのベースラインに比べて3.2%の向上を実現した。
• ハイパーパrameter α に対してロバストであり、αが1.0に達するまで性能の低下はわずかにしか発生せず、適応的スケジューリングの重要性を示している。
• T-SNE可視化により、LFMEは明示的な再重み付けなしに、よりコンパクトで構造的な特徴多様体を生成することが確認され、分類能の向上が裏付けられた。