[論文レビュー] Class-Balanced Distillation for Long-Tailed Visual Recognition

Ahmet İşcen, André de Melo Araújo+2 more|arXiv (Cornell University)|Apr 12, 2021

Domain Adaptation and Few-Shot Learning被引用数 16

ひとこと要約

本稿では、インスタンスサンプリングで訓練された教師モデルから、クラスバランスの取れたサンプリングを用いて再訓練する学生モデルへ知識を蒸留する二段階フレームワーク「クラスバランス蒸留（CBD）」を提案する。CBDは先行手法を著しく上回り、ImageNet-LT、iNaturalist17、iNaturalist18の各データセットで最先端の精度を達成しており、ResNet-152を用いた場合、前回の最良手法比で最大5.5%の向上を達成した。

ABSTRACT

Real-world imagery is often characterized by a significant imbalance of the number of images per class, leading to long-tailed distributions. An effective and simple approach to long-tailed visual recognition is to learn feature representations and a classifier separately, with instance and class-balanced sampling, respectively. In this work, we introduce a new framework, by making the key observation that a feature representation learned with instance sampling is far from optimal in a long-tailed setting. Our main contribution is a new training method, referred to as Class-Balanced Distillation (CBD), that leverages knowledge distillation to enhance feature representations. CBD allows the feature representation to evolve in the second training stage, guided by the teacher learned in the first stage. The second stage uses class-balanced sampling, in order to focus on under-represented classes. This framework can naturally accommodate the usage of multiple teachers, unlocking the information from an ensemble of models to enhance recognition capabilities. Our experiments show that the proposed technique consistently outperforms the state of the art on long-tailed recognition benchmarks such as ImageNet-LT, iNaturalist17 and iNaturalist18.

研究の動機と目的

• 実世界の視覚データセットにおける長尾クラス分布の課題に対処すること。ここでは、代表度が低い（テールに属する）クラスが不十分に学習される。
• インスタンスサンプリングによって学習された特徴表現の限界を克服すること。これは、長尾設定において最適でない。
• 特徴学習と分類器訓練を分離することで、テールクラスの認識性能を向上させつつ、ヘッドクラスの精度を損なわないこと。
• 複数の教師モデルを用いて補完的知識を集約し、学生の一般化性能を向上させることを可能にすること。
• 既存の二段階および単段階手法を上回る柔軟性、効果性、拡張性を持つ訓練フレームワークを開発すること。

提案手法

• 最初の段階で、すべてのクラスにわたる頑健な特徴学習を保証するために、インスタンスサンプリングを用いて1つ以上の教師モデルを訓練する。
• 2番目の段階で、代表度が低いテールクラスに注目するために、クラスバランスの取れたサンプリングを用いて学生モデルを再訓練する。
• 知識蒸留を適用し、教師モデルから学生モデルへソフトラベルおよび中間特徴表現を転送する。
• 交差エントロピー分類損失と特徴蒸留損失を組み合わせた損失関数を用いて、学生の訓練をガイドする。
• 複数の独立した教師モデルを訓練し、蒸留時にその知識を平均化することで、アンサンブル蒸留（CBD_E）をサポートする。
• 推論効率を維持するために、テスト時には複数の教師モデルを用いて訓練したが、単一の学生モデルのみを用いる。

実験結果

リサーチクエスチョン

• RQ1 知識蒸留は、長尾設定下でインスタンスサンプリングによって学習された特徴表現を改善できるか？
• RQ2 異なるサンプリング戦略を用いて特徴学習と分類器訓練を分離することで、テールクラスの性能が向上するか？
• RQ3 複数の教師モデルが長尾認識において学生の一般化性能を共同で向上させられるか？
• RQ4 CBDは、異なるデータセットおよびアーキテクチャにおいて、最先端の手法と比較して精度と頑健性の面で優れているか？
• RQ5 CBDは、テールクラスの精度を著しく向上させつつ、ヘッドクラスの性能を維持または向上させられるか？

主な発見

• CBDはResNet-50を用いてImageNet-LTで51.6%のトップ-1精度を達成し、前回の最先端手法を3.6ポイント上回った。
• 4つの教師モデルを用いたCBD_Eは、ResNet-50を用いてImageNet-LTで55.6%の精度を達成し、前回の最良手法（ResNet-152使用）比で5.5%の向上を達成した。
• iNaturalist18では、CBD_EがResNet-101を用いて75.3%の精度を達成し、前回の最先端手法比で4.5%の相対的向上を達成した。
• CBD_Eは、iNaturalist18で前回の最良手法比で3.8%、iNaturalist17で3.5%の性能向上を達成した。
• 本手法は、すべてのクラスグループで高い性能を維持しており、テールクラスに顕著な向上を示しながらも、ヘッドクラスの精度を保持した。
• CBDにログィット調整損失を組み合わせることでさらに性能が向上し、CBD_Eを用いた場合、ImageNet-LTで56.1%の精度を達成した。