[論文レビュー] BBN: Bilateral-Branch Network with Cumulative Learning for Long-Tailed Visual Recognition

Boyan Zhou, Quan Cui+2 more|arXiv (Cornell University)|Dec 5, 2019

Domain Adaptation and Few-Shot Learning参考文献 24被引用数 79

ひとこと要約

BBNは、長尾視覚認識において表現学習と分類器学習を共同で改善する累積学習戦略を備えた双方向分岐ネットワークを提示し、いくつかのベンチマークで最先端の性能を示す。

ABSTRACT

Our work focuses on tackling the challenging but natural visual recognition task of long-tailed data distribution (i.e., a few classes occupy most of the data, while most classes have rarely few samples). In the literature, class re-balancing strategies (e.g., re-weighting and re-sampling) are the prominent and effective methods proposed to alleviate the extreme imbalance for dealing with long-tailed problems. In this paper, we firstly discover that these re-balancing methods achieving satisfactory recognition accuracy owe to that they could significantly promote the classifier learning of deep networks. However, at the same time, they will unexpectedly damage the representative ability of the learned deep features to some extent. Therefore, we propose a unified Bilateral-Branch Network (BBN) to take care of both representation learning and classifier learning simultaneously, where each branch does perform its own duty separately. In particular, our BBN model is further equipped with a novel cumulative learning strategy, which is designed to first learn the universal patterns and then pay attention to the tail data gradually. Extensive experiments on four benchmark datasets, including the large-scale iNaturalist ones, justify that the proposed BBN can significantly outperform state-of-the-art methods. Furthermore, validation experiments can demonstrate both our preliminary discovery and effectiveness of tailored designs in BBN for long-tailed problems. Our method won the first place in the iNaturalist 2019 large scale species classification competition, and our code is open-source and available at https://github.com/Megvii-Nanjing/BBN.

研究の動機と目的

• 長尾分布下でクラス再バランスが表現学習と分類器学習のどちらに影響するかを調査する。
• 表現学習と分類器学習を同時に最適化する統一された Bilateral-Branch Network (BBN) を提案する。
• 訓練中に普遍的な特徴から尾部データへ焦点を移す累積学習戦略を開発する。
• 大規模 iNaturalist を含む複数の長尾ベンチマークで BB N の有効性を示す。

提案手法

• 重みを共有する二分岐アーキテクチャ：普遍的な表現のための従来の学習分岐（均一サンプラー）、尾部に焦点を当てた分類器学習のための再バランス分岐（反転サンプラー）。
• ブランチ出力の適応融合を、ブランチの寄与をトレードオフする適応パラメータ alpha によって行う。
• 訓練エポックの関数としてアルファを設定し、尾部データを徐々に重視する累積学習戦略。
• 両方のブランチの予測を結合する重み付きクロスエントロピー損失でのエンドツーエンド訓練。
• 推論時には両方のブランチの寄与を平均化し、最終予測をバランスさせるために alpha を 0.5 に固定。）

実験結果

リサーチクエスチョン

• RQ1 クラス再バランス戦略は、長尾データにおいて特徴表現と分類器学習の両方にどのように同時に影響するか？
• RQ2 表現学習と分類器学習を別々に扱う双方向分岐設計は、単一分岎や二段階アプローチを上回ることができるか？
• RQ3 普遍的な特徴から尾部データへ焦点を移す累積学習スケジュールは、長尾認識性能をより強力にするか？
• RQ4 ブランチ間でバックボーンの重みを共有することは、効率と性能の点で有利か？

主な発見

• BBN は、長尾 CIFAR-10/100 の不均衡因子全般にわたり、最先端手法を一貫して上回る。
• BBN は大規模 iNaturalist データセットでもベースラインを上回り、強力な二段階ファインチューニング手法を凌駕する。
• 再バランス分岐の反転サンプラーは、均一サンプラーや完全バランスサンプラーと比較して尾部クラスの性能を高める。
• 提案されたアルファの放物線的減衰アダプタは、検証した戦略の中で最良の結果をもたらす。
• 従来分岐の特徴表現は競争力を保ちつつ、再バランス分岷枝は尾部データを効果的にモデル化し、結合重みは分類器の挙動を均衡化する。