[論文レビュー] Class Rectification Hard Mining for Imbalanced Deep Learning

Qi Dong, Shaogang Gong+1 more|arXiv (Cornell University)|Dec 8, 2017

Imbalanced Data Classification Techniques参考文献 39被引用数 11

ひとこと要約

本論文は、極端なクラス不均衡にさらされるマルチラベル人物属性認識のための、エンドツーエンドの深層学習フレームワーク、Class Rectification Loss (CRL) を提案する。バッチ単位での段階的ハードマイニングを実施し、マイノリティクラスの陽性および陰性サンプルに注目するとともに、CRL正則化損失を適用することで、希少な属性の学習を向上させる。X-DomainデータセットではSOTAより4%高い平均精度を達成し、CelebAでは2%の向上を示した。また、学習速度は3倍以上速い。

ABSTRACT

Recognising detailed facial or clothing attributes in images of people is a challenging task for computer vision, especially when the training data are both in very large scale and extremely imbalanced among different attribute classes. To address this problem, we formulate a novel scheme for batch incremental hard sample mining of minority attribute classes from imbalanced large scale training data. We develop an end-to-end deep learning framework capable of avoiding the dominant effect of majority classes by discovering sparsely sampled boundaries of minority classes. This is made possible by introducing a Class Rectification Loss (CRL) regularising algorithm. We demonstrate the advantages and scalability of CRL over existing state-of-the-art attribute recognition and imbalanced data learning models on two large scale imbalanced benchmark datasets, the CelebA facial attribute dataset and the X-Domain clothing attribute dataset.

研究の動機と目的

• ウェブ収集された大規模画像データセットにおける極端なクラス不均衡の課題を解決すること。
• 過剰サンプリング、ダウンサンプリング、コストセンシティブ学習といった従来手法の限界（過学習やデータ損失）を克服すること。
• 手作業で特徴を設計するのではなく、マイノリティ属性クラスの表現学習を明示的に向上させるエンドツーエンドの深層学習フレームワークを開発すること。
• 各訓練バッチ内でマイノリティクラスからのハードサンプルに焦点を当てることで、大規模で不均衡なデータセットにおけるスケーラブルで段階的な学習を可能にすること。
• X-Domain や CelebA のような極端に不均衡なベンチマークで、精度と学習効率の両面で既存のSOTAモデルを上回ること。

提案手法

• 本手法は、各訓練イテレーションにおいて、マイノリティ属性クラスからのハードポジティブおよびハードネガティブサンプルに限定して、バッチ単位での段階的ハードマイニングを実施する。
• マイノリティクラスの境界に特徴表現を明示的に一致させるために、特徴表現の最適化を正則化する新しいクラス補正損失（CRL）を導入する。
• CRLはインスタンスレベルのハードマイニングを用い、バッチごとに特徴マージンに基づいて最も困難なサンプルを選択することで、希少属性の一般化性能を向上させる。
• 損失関数は全体のデータセットサイズに依存しないため、非常に大規模な不均衡データへのスケーラビリティを実現できる。
• 特徴学習とマルチラベル分類をエンドツーエンドで統合することで、特徴と分類器の最適化が分離するのを回避する。
• 共有畳み込み層と各属性ごとの個別全結合ブランチを備えたマルチブランチネットワークアーキテクチャを用いてモデルを訓練し、マルチタスク学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 マイノリティクラスのサンプルに対するバッチ単位での段階的ハードマイニングは、極端に不均衡な人物属性データセットにおける深層学習性能を向上させることができるか？
• RQ2 提案されたクラス補正損失（CRL）は、既存の損失関数やデータリサンプリング戦略と比較して、マジョリティクラスへのバイアスを緩和する上で効果的か？
• RQ3 X-Domain のような極端に不均衡な大規模データセット（不均衡比最大1:4,162）において、CRLフレームワークはどの程度スケーラブルか？
• RQ4 インスタンスレベルのハードマイニングは、クラスレベルのハードマイニングよりもマイノリティクラスの認識精度を向上させるか？
• RQ5 ベンチマークデータセットにおいて、CRLモデルはLMLE や MTCT といったSOTAモデルと比較して、性能と学習速度の両面で優れているか？

主な発見

• インスタンスレベルのハードマイニングと相対的損失を組み合わせたCRL(I)は、X-DomainデータセットでベースラインのMTCTより6.13%高い平均精度を達成した。
• X-Domainベンチマークでは、CRL(I)がSOTAのLMLEモデルを平均精度で4%上回り、極端に不均衡なデータにおいて顕著な優位性を示した。
• CelebAデータセットでは、CRL(I)はベースラインより5.85%高い精度を達成し、より不均衡な属性では性能差が拡大した。
• CRL(C)とCRL(I)は、極めて不均衡な「スリーブシルエット」属性でそれぞれ8%および7%の精度向上を達成し、LMLEの2%の向上を上回った。
• CRLモデルは、優れた性能を達成しているにもかかわらず、LMLEモデルよりも3倍以上高速に学習が完了した。これは、高い学習効率を示している。
• インスタンスレベルのハードマイニングと相対的損失の組み合わせ（CRL(I+R)）が最良の結果をもたらし、X-Domainで6.13%、CelebAで5.85%の向上を達成した。これは、極端な不均衡下でも有効であることを確認した。