[論文レビュー] ELF: An Early-Exiting Framework for Long-Tailed Classification

Rahul Duggal, Scott Freitas+3 more|arXiv (Cornell University)|Jun 22, 2020

Domain Adaptation and Few-Shot Learning参考文献 36被引用数 16

ひとこと要約

ELFは、トレーニング中に例の難易度を学習することで、長尾分類を改善する画期的なイ早退出フレームワークを提案している。補助分類器ブランチを用いて、簡単な例を早期に退出させる。これによりモデルの注目が難易度の高い例にシフトし、ImageNet LTおよびiNaturalist’18で3%以上の精度向上を達成するとともに、推論時のFLOPSを最大20%まで削減できる。また、可変な計算リソース予算に応じたリアルタイムでのモデル選択が可能である。

ABSTRACT

The natural world often follows a long-tailed data distribution where only a few classes account for most of the examples. This long-tail causes classifiers to overfit to the majority class. To mitigate this, prior solutions commonly adopt class rebalancing strategies such as data resampling and loss reshaping. However, by treating each example within a class equally, these methods fail to account for the important notion of example hardness, i.e., within each class some examples are easier to classify than others. To incorporate this notion of hardness into the learning process, we propose the EarLy-exiting Framework(ELF). During training, ELF learns to early-exit easy examples through auxiliary branches attached to a backbone network. This offers a dual benefit-(1) the neural network increasingly focuses on hard examples, since they contribute more to the overall network loss; and (2) it frees up additional model capacity to distinguish difficult examples. Experimental results on two large-scale datasets, ImageNet LT and iNaturalist'18, demonstrate that ELF can improve state-of-the-art accuracy by more than 3 percent. This comes with the additional benefit of reducing up to 20 percent of inference time FLOPS. ELF is complementary to prior work and can naturally integrate with a variety of existing methods to tackle the challenge of long-tailed distributions.

研究の動機と目的

• 従来の手法が無視してきた例の難易度という概念を組み込むことで、長尾分類における一般化ギャップを是正すること。
• 頻度の高いクラスの精度を損なうことなく、レアクラスにおけるモデル性能を向上させること。
• 推論時のFLOPSを削減し、可変な計算制約下でも動的モデル選択を可能とすること。
• 現在のクラス再バランス技術（例：損失再形状やデータリサンプリング）と相性の良いフレームワークを構築すること。

提案手法

• バックボーンネットワークに、異なる深さに位置する複数の補助分類器ブランチ（早期退出）を追加する。
• トレーニング中、例は最初に高い信頼度で予測できるブランチで早期に退出するよう促される。
• 早期退出に失敗する難易度の高い例は、より高い損失を蓄積し、より深いブランチに渡される。これにより、全体の損失に与える寄与度が高まる。
• 各退出ブランチがクラスラベルを予測するマルチタスクトレーニング目的関数を採用。最終ブランチが主な予測を提供する。
• 各退出で損失を計算し、初期ブランチで高い信頼度に達しない例は、より深い層を経由して逆伝播される。
• 本手法は、LDAM、DRW、Focal Lossといった既存の長尾学習技術と自然に統合可能である。

実験結果

リサーチクエスチョン

• RQ1 トレーニング中に例の難易度を学習することで、長尾分類における一般化性能が向上するか？
• RQ2 トレーニング中の早期退出が、モデルの能力を難易度の高い例にシフトさせ、稀なクラスの性能向上をもたらすか？
• RQ3 早期退出により、推論時のFLOPSを削減できるか、かつ精度を維持または向上できるか？
• RQ4 長尾データセット全体を通じて、ELFは最先端手法と比較して精度と効率の両面で優れているか？
• RQ5 実世界のデプロイにおいて、可変な計算リソース予算に応じたリアルタイムでのモデル選択がELFによって可能か？

主な発見

• ELFは、LDAMと組み合わせた場合、iNaturalist’18で最高で78.1%のTop-1精度を達成し、ImageNet LTおよびiNaturalist’18でSOTA精度を3%以上上回った。
• ELFは、ベースラインモデルと比較して、推論時におけるFLOPSを最大20%まで削減したが、精度は向上した。
• 本手法は、頻度の高いクラス（Many）、中程度のクラス（Medium）、レアクラス（Few）の全スプリットで精度を維持または向上させた。これは、従来手法が頻度の高いクラスの性能を犠牲にしているのとは対照的である。
• 可視化結果から、初期の退出ブランチはより簡単で識別が容易な例を処理しているのに対し、後続のブランチは難易度が高く曖昧な入力を処理していることが確認された。
• FLOPS解析により、ELFの精度向上は単にモデル容量の増加によるものではなく、難易度に配慮した学習によるものであることが示された。
• ELFは既存手法と相性が良い。LDAMやDRWと組み合わせると、FLOPSを増加させることなく一貫した性能向上が得られた。