[論文レビュー] To Balance or Not to Balance: A Simple-yet-Effective Approach for Learning with Long-Tailed Distributions

Junjie Zhang, Lingqiao Liu+2 more|arXiv (Cornell University)|Dec 10, 2019

Video Surveillance and Tracking Methods参考文献 38被引用数 13

ひとこと要約

本論文は、特徴抽出と分類器学習を分離することで、長尾分布の視覚認識問題に効果的に対処するシンプルな補助学習フレームワークを提案する。分類器はクラスバランスサンプリング（CBS）で学習され、末尾クラスの優先的認識を促進する。一方、特徴抽出器は通常のランダムサンプリング（RRS）と自己教師学習を併用して共同学習され、過学習を防ぐ。本手法は、複雑な構成を用いずに、長尾データセットで最先端の性能を達成する。

ABSTRACT

Real-world visual data often exhibits a long-tailed distribution, where some ''head'' classes have a large number of samples, yet only a few samples are available for ''tail'' classes. Such imbalanced distribution causes a great challenge for learning a deep neural network, which can be boiled down into a dilemma: on the one hand, we prefer to increase the exposure of tail class samples to avoid the excessive dominance of head classes in the classifier training. On the other hand, oversampling tail classes makes the network prone to over-fitting, since head class samples are often consequently under-represented. To resolve this dilemma, in this paper, we propose a simple-yet-effective auxiliary learning approach. The key idea is to split a network into a classifier part and a feature extractor part, and then employ different training strategies for each part. Specifically, to promote the awareness of tail-classes, a class-balanced sampling scheme is utilised for training both the classifier and the feature extractor. For the feature extractor, we also introduce an auxiliary training task, which is to train a classifier under the regular random sampling scheme. In this way, the feature extractor is jointly trained from both sampling strategies and thus can take advantage of all training data and avoid the over-fitting issue. Apart from this basic auxiliary task, we further explore the benefit of using self-supervised learning as the auxiliary task. Without using any bells and whistles, our model achieves superior performance over the state-of-the-art solutions.

研究の動機と目的

• サンプルのバランスを取ることで過学習のリスクが生じる一方で、不均衡を無視すると末尾クラスの性能が著しく低下するという、長尾視覚認識における学習ジレンマを解決すること。
• 複雑なデータオーグメンテーションや損失再重み付けに依存せずに、深層ネットワークにおける特徴表現学習を改善すること。
• 補助学習フレームワーク内でクラスバランスサンプリングと通常のランダムサンプリングを組み合わせることで、モデルの一般化性能が向上するかどうかを調査すること。
• 自己教師学習を追加の補助タスクとして用いることで、不均衡な設定下での特徴品質がどの程度向上するかを評価すること。

提案手法

• ネットワークは共有の特徴抽出器と分類器ヘッドに分割され、分類器はクラスバランスサンプリング（CBS）で学習され、末尾クラスの認識を向上させる。
• 補助的な訓練タスクとして、特徴抽出器が通常のランダムサンプリング（RRS）で学習される。これにより、すべてのデータから学習し、過学習を軽減できる。
• 特徴抽出器はCBSとRRSの両方を用いて共同最適化され、両方のサンプリング戦略の長所を活かす。
• 自己教師学習として回転予測を用い、特徴の一般化性能をさらに向上させる。
• 本手法では、すべてのタスクで特徴抽出器を共有するが、各タスクごとに別々の分類器を用いることで、干渉を避けて共同最適化を実現する。
• 損失重み（λ₁:λ₂）などのハイパーパrameterは調整され、最適な性能は0.5:1で達成された。

実験結果

リサーチクエスチョン

• RQ1 クラスバランスサンプリングとランダムサンプリングを組み合わせたシンプルな補助学習フレームワークが、長尾視覚認識の性能向上に寄与するか？
• RQ2 複数のサンプリング戦略を用いて特徴抽出器を共同で学習させることで、単一戦略の学習に比べて過学習が軽減されるか？
• RQ3 自己教師学習を補助タスクとして用いることで、不均衡な設定下での特徴表現がどの程度向上するか？
• RQ4 提案手法による性能向上は、データオーグメンテーションの効果によるものか、それとも補助学習メカニズムそのものの内在的利点によるものか？

主な発見

• 提案されたCBS+RRSフレームワークは、ImageNet-LTおよびPlaces-LTで最先端の手法を上回り、新たな最先端の精度を達成した。
• λ₁:λ₂ = 0.5:1のモデルが最高の全体的性能を示し、RRS補助タスクが特徴学習において主導的役割を果たしていることを示した。
• 自己教師学習による回転予測は、データオーグメンテーションの効果を上回る性能向上をもたらし、意味のある補助タスクとしての有効性を裏付けた。
• 可視化結果から、本手法はベースラインに比べてより分離された特徴とよりバランスの取れた分類器重みノルムを生成しており、表現力の向上と公平性の向上を確認した。
• アブレーションスタディにより、CBSとRRSを同時に特徴抽出器で最適化する方法が、段階的学習よりも有効であることが確認され、エンドツーエンド最適化の利点が示された。
• 回転に基づくデータオーグメンテーションのみでは、自己教師学習補助タスクの性能に及ばず、性能向上の主な要因が単にデータ多様性の増加によるものではないことを証明した。