[論文レビュー] Discriminative Sparse Neighbor Approximation for Imbalanced Learning

Chen Huang, Chen Change Loy+1 more|arXiv (Cornell University)|Feb 3, 2016

Imbalanced Data Classification Techniques参考文献 5被引用数 4

ひとこと要約

本稿では、不均衡学習のための新規手法である判別的スパース近傍近似（DSNA）を提案する。DSNAは、コスト感受性の決定木フォレストを用いて、テストインスタンスの周囲に「安全な」局所的近傍を特定し、その後、重複するクラス判別的クラスタにこの近傍を分割する。各クラスタはアフィン部分空間としてモデル化され、反復的にテストサンプルをこれらの部分空間内で近似することで、頑健でバイアスのない予測を実現する。この手法は、特に高クラスオーバーラップを示す小規模で不均衡なデータセットにおいて、最先端の手法（深層学習モデルを含む）を著しく上回る性能を発揮する。

ABSTRACT

Data imbalance is common in many vision tasks where one or more classes are rare. Without addressing this issue conventional methods tend to be biased toward the majority class with poor predictive accuracy for the minority class. These methods further deteriorate on small, imbalanced data that has a large degree of class overlap. In this study, we propose a novel discriminative sparse neighbor approximation (DSNA) method to ameliorate the effect of class-imbalance during prediction. Specifically, given a test sample, we first traverse it through a cost-sensitive decision forest to collect a good subset of training examples in its local neighborhood. Then we generate from this subset several class-discriminating but overlapping clusters and model each as an affine subspace. From these subspaces, the proposed DSNA iteratively seeks an optimal approximation of the test sample and outputs an unbiased prediction. We show that our method not only effectively mitigates the imbalance issue, but also allows the prediction to extrapolate to unseen data. The latter capability is crucial for achieving accurate prediction on small dataset with limited samples. The proposed imbalanced learning method can be applied to both classification and regression tasks at a wide range of imbalance levels. It significantly outperforms the state-of-the-art methods that do not possess an imbalance handling mechanism, and is found to perform comparably or even better than recent deep learning methods by using hand-crafted features only.

研究の動機と目的

• 視覚タスクにおけるデータの不均衡に起因するマイノリティクラスの不足と、マジョリティクラスへのバイアスによる誤分類を解消すること。
• マイノリティクラスのサンプルが疎または欠落している状況でも一般化できない既存手法の限界を克服すること。
• さまざまな程度のクラス不均衡に適応可能な、分類と回帰の両タスクに有効な統合フレームワークの構築。
• 観測済みの訓練サンプルを超えた外挿能力を高めることで、小規模データセットにおける頑健な予測を実現すること。
• 深層学習モデルと同等または優れた性能を達成しつつ、手作業特徴量に依存する浅い学習手法としての実現。

提案手法

• コスト感受性の決定木フォレストを用いて、テストサンプルの周囲に「安全な」局所的近傍を抽出し、インポスターの影響を低減するためにマイノリティクラスのサンプルを優先的に選択する。
• 選択された近傍を、マジョリティクラスの支配を最小限に抑えるために重複するクラス判別的クラスタに分割する。
• 各クラスタをアフィン部分空間としてモデル化することで、局所的な幾何構造を捉え、線形近似を可能にする。
• 反復的なDSNAアルゴリズムにより、テストサンプルをこれらの部分空間内で最適に近似し、バイアスのない予測を実現する。
• 近似目的関数と出力層の適応により、分類と回帰の両タスクをサポートする。
• 構造的エッジ検出（SE）とDSNA（CS-SE+DSNA）をエンドツーエンドで統合し、エッジ予測タスクに応用する。

実験結果

リサーチクエスチョン

• RQ1 コスト感受性学習に基づく局所的近傍選択戦略は、不均衡データにおけるマイノリティクラスの表現を向上させることができるか？
• RQ2 局所的近傍内での重複する判別的クラスタは、クラスの支配を低減することで予測精度を向上させることができるか？
• RQ3 クラスタをアフィン部分空間としてモデル化することで、未観測のマイノリティクラスサンプルへの一般化と外挿能力が向上するか？
• RQ4 手作業特徴量のみに依存する浅い学習手法としてのDSNAは、深層学習モデルを上回る性能を不均衡な視覚タスクで達成できるか？
• RQ5 訓練データとテストデータが異なる分布に由来する場合でも、本手法はデータセット間で一般化できるか？

主な発見

• CS-SE+DSNAはエッジ検出において、すべての浅い手法および大多数の深層モデルを上回り、BSDS500では0.77 ODS、0.79 OIS、0.81 APを達成し、HEDと同等の性能を示した。
• NYUデータセットでは、クロスデータセット一般化において0.62 ODSおよび0.63 OISを達成し、SEおよびDeepContourを上回った。
• データを削除した場合でも、KRFに比べて劣化が緩やかであるため、小規模で不均衡なデータセットにおける強い頑健性を示した。
• 可視化結果から、背景品質を損なわずマイノリティエッジを保持したクリアなエッジマップが得られ、マイノリティクラスの予測が向上していることが確認された。
• マイノリティクラスに訓練サンプルが存在しない場合（例：FG-NETにおける年齢＞60）でも、高い性能を維持したため、外挿能力が裏付けられた。
• DSNAは、深層アーキテクチャや複雑な再重み付けスキームを必要とせず、分類および回帰タスクで最先端の性能を達成した。