[論文レビュー] Nested Collaborative Learning for Long-Tailed Visual Recognition

Jun Li, Zichang Tan+3 more|arXiv (Cornell University)|Mar 29, 2022

Domain Adaptation and Few-Shot Learning被引用数 10

ひとこと要約

本稿では、長尾分布の視覚認識を向上させるためのネスト型協調学習（NCL）を提案する。NCLは、ネスト型個別学習（NIL）とネスト型バランスオンライン蒸留（NBOD）を用いて、複数のエキスパートを協調的に訓練することで、モデルのロバスト性を向上させる。フルパースペクティブとパーシャルパースペクティブの学習を統合的に最適化し（特に識別が難しいカテゴリに注目）、ハードカテゴリーミニング（HCM）を用いて困難なカテゴリを特定することで、自己教師学習を統合し、予測の不確実性を低減し、最先端の性能を達成する。これは、単一モデルやアンサンブルモデルを上回る性能を示している。

ABSTRACT

The networks trained on the long-tailed dataset vary remarkably, despite the same training settings, which shows the great uncertainty in long-tailed learning. To alleviate the uncertainty, we propose a Nested Collaborative Learning (NCL), which tackles the problem by collaboratively learning multiple experts together. NCL consists of two core components, namely Nested Individual Learning (NIL) and Nested Balanced Online Distillation (NBOD), which focus on the individual supervised learning for each single expert and the knowledge transferring among multiple experts, respectively. To learn representations more thoroughly, both NIL and NBOD are formulated in a nested way, in which the learning is conducted on not just all categories from a full perspective but some hard categories from a partial perspective. Regarding the learning in the partial perspective, we specifically select the negative categories with high predicted scores as the hard categories by using a proposed Hard Category Mining (HCM). In the NCL, the learning from two perspectives is nested, highly related and complementary, and helps the network to capture not only global and robust features but also meticulous distinguishing ability. Moreover, self-supervision is further utilized for feature enhancement. Extensive experiments manifest the superiority of our method with outperforming the state-of-the-art whether by using a single model or an ensemble.

研究の動機と目的

• 長尾データセットで学習されたディープラーニングモデルにおける高い不確実性を解消すること。同様の学習設定でも予測結果が著しく異なることが問題視される。
• 複数のエキスパート間での知識協調を可能にすることで、特に末尾クラスにおける予測の一貫性を低下させること。
• グローバル視点と困難なカテゴリ特化視点の両方からの最適化を同時に実現することで、表現学習を向上させること。
• 自己教師学習とバランスの取れた蒸留を統合したネスト型学習フレームワークを用いて、モデルのロバスト性と公平性を向上させること。
• アンサンブルモデルと同等の性能を達成しながらも、単一エキスパートの推論効率を維持すること。

提案手法

• 複数のエキスパートを協調的に学習させるフレームワーク「ネスト型協調学習（NCL）」を提案。各エキスパートが教師としても学生としても機能できる。
• ネスト型個別学習（NIL）を導入。全カテゴリ（フルパースペクティブ）と困難なカテゴリ（パーシャルパースペクティブ）の両方で教師あり学習を実施。困難なカテゴリはハードカテゴリーミニング（HCM）で特定。
• ネスト型バランスオンライン蒸留（NBOD）を設計。全カテゴリおよび困難なカテゴリの両方でバランスの取れた確率蒸留を適用し、一般化性能を向上させ、不確実性を低減する。
• ハードカテゴリーミニング（HCM）を実装。予測スコアが高く、かつ正解ラベルでない非正解カテゴリ（ハードネガティブ）を特定し、焦点を当てた学習の対象とする。
• 各エキスパートごとに移動平均モデルを用いて自己教師学習を導入し、非教師ありの方法で特徴学習を強化する。
• NILとNBODをネスト構造として設計。フルパースペクティブとパーシャルパースペクティブの学習が相互に依存的かつ補完的である。

実験結果

リサーチクエスチョン

• RQ1 長尾データセットで学習されたモデルにおける予測不確実性を、複数エキスパート間の協調学習によって低減できるか？
• RQ2 部分的パースペクティブ（困難なカテゴリに注目）を用いることで、モデルの一般化性能と末尾クラスの精度がどのように向上するか？
• RQ3 同時にフルパースペクティブとパーシャルパースペクティブを最適化するネスト型学習は、標準的な学習に比べて表現学習にどの程度寄与するか？
• RQ4 長尾設定下において、オンラインで実施されるバランスの取れた蒸留（NBOD）は、オフライン蒸留や標準的な知識蒸留を上回るか？
• RQ5 NCLで学習された単一エキスパートは、アンサンブルモデルと同等の性能を達成できるか。推論効率を維持できるか？

主な発見

• 100の不均衡要因を有するCIFAR100-LTでは、NCLは単一エキスパートでトップ1精度51.04%、アンサンブルで54.42%を達成し、最先端手法を上回った。
• NCLを適用した後、モデルの予測間のKLダイバージェンスが顕著に低下し、予測の不確実性が低減され、モデル間での一貫性が向上した。
• ハードカテゴリーミニング（HCM）は、高スコアの非正解カテゴリを効果的に同定でき、それらに注目した学習により、ベースライン手法に比べ1.5%の性能向上を達成した。
• バランスの取れた確率蒸留を用いたNBODは、非バランス蒸留に比べ約1%の性能向上を示し、長尾学習における確率キャリブレーションの重要性を裏付けた。
• オンライン蒸留（NBOD）はオフライン蒸留に比べ1.5%高い性能を示し、静的知識伝達よりも継続的・協調的学習が効果的であることを示した。
• 自己教師学習は特徴の強化に寄与し、アブレーションスタディにより、全体の精度とロバストネスに肯定的な影響があることが確認された。