[論文レビュー] Decoupling Representation and Classifier for Long-Tailed Recognition

Bingyi Kang, Saining Xie+5 more|arXiv (Cornell University)|Oct 21, 2019

Domain Adaptation and Few-Shot Learning参考文献 37被引用数 219

ひとこと要約

本論文は表現学習と分類器のバランスを分離することで、インスタンスバランス表現と単純な分類器調整を用いて長尾認識で最先端の結果を達成することを示している。

ABSTRACT

The long-tail distribution of the visual world poses great challenges for deep learning based classification models on how to handle the class imbalance problem. Existing solutions usually involve class-balancing strategies, e.g., by loss re-weighting, data re-sampling, or transfer learning from head- to tail-classes, but most of them adhere to the scheme of jointly learning representations and classifiers. In this work, we decouple the learning procedure into representation learning and classification, and systematically explore how different balancing strategies affect them for long-tailed recognition. The findings are surprising: (1) data imbalance might not be an issue in learning high-quality representations; (2) with representations learned with the simplest instance-balanced (natural) sampling, it is also possible to achieve strong long-tailed recognition ability by adjusting only the classifier. We conduct extensive experiments and set new state-of-the-art performance on common long-tailed benchmarks like ImageNet-LT, Places-LT and iNaturalist, showing that it is possible to outperform carefully designed losses, sampling strategies, even complex modules with memory, by using a straightforward approach that decouples representation and classification. Our code is available at https://github.com/facebookresearch/classifier-balancing.

研究の動機と目的

• データの不均衡が長尾認識における表現学習と分類のどちらに影響するかを調査する。
• 異なるサンプリング戦略で表現を学習させ、分類器を別個にバランスさせることでデカップル学習方式を評価する。
• 脱耦アプローチを結合学習および既存のメモリ・損失ベース手法と複数のベンチマークで比較する。
• 複雑なリウェイトやメモリモジュールを用いず、実用的でよりシンプルな分類器のバランス調整法を提供する。

提案手法

• 異なるサンプリング戦略（インスタンスバランス、クラスバランス、平方根、段階的バランス）で表現を訓練する。
• 表現を固定し、再訓練（cRT）、最近傍クラス平均（NCM）、tau正規化重みスケーリングなどの手法で分類器をバランスさせる。
• 学習可能ウェイトスケーリング（LWS）を導入し、訓練中に分類器の重みを調整する方法を研究する。
• ロジットのバイアス項を捨て、tau正規化を分類器の重みに適用して決定境界をバランスさせる。
• 3つのデータセットでデカップル方式と結合学習および最先端手法を比較する。

実験結果

リサーチクエスチョン

• RQ1 表現学習と分類器バランスの分離は長尾認識の性能を向上させるか？
• RQ2 表現学習のためのどのサンプリング戦略とどの分類器バランシング手法が最良の結果をもたらすか？
• RQ3 単純でメモリを使わない、バランス重視の分類器調整は長尾設定で複雑な手法に匹敵するか、あるいは上回るか？

主な発見

• 表現と分類器をデカップリングすることで、すべてのデータセットとほとんどの分割で結合学習を上回すことが多い。
• インスタンスバランスのサンプリングは長尾データに対して最も一般化可能な表現を学習する。
• 分類器バランシングはcRTやtau正規化ウェ weighting により tail クラスの性能を大幅に改善し、場合によっては結合学習のベースラインを数ポイント上回る。
• tau正規化と学習可能ウェイトスケーリングは、訓練不要または最小限の訓練で強力なバランス効果を提供し、最先端の結果に近づくことがある。
• ImageNet-LT、Places-LT、および iNaturalist で、単純なバランシングを伴うデカップル手法は、いくつかの複雑な手法やメモリベースのアプローチを上回る。