[論文レビュー] Long-Tailed Classification by Keeping the Good and Removing the Bad Momentum Causal Effect

Kaihua Tang, Jianqiang Huang+1 more|arXiv (Cornell University)|Sep 27, 2020

Fault Detection and Control Systems被引用数 231

ひとこと要約

この論文は、長尾分類における SGD モーメントを因果的混乱因子として扱う因果枠組みを導入し、デコンファウンド訓練で学習し、直接効果を推定して複数のベンチマークで最先端の結果を達成する。

ABSTRACT

As the class size grows, maintaining a balanced dataset across many classes is challenging because the data are long-tailed in nature; it is even impossible when the sample-of-interest co-exists with each other in one collectable unit, e.g., multiple visual instances in one image. Therefore, long-tailed classification is the key to deep learning at scale. However, existing methods are mainly based on re-weighting/re-sampling heuristics that lack a fundamental theory. In this paper, we establish a causal inference framework, which not only unravels the whys of previous methods, but also derives a new principled solution. Specifically, our theory shows that the SGD momentum is essentially a confounder in long-tailed classification. On one hand, it has a harmful causal effect that misleads the tail prediction biased towards the head. On the other hand, its induced mediation also benefits the representation learning and head prediction. Our framework elegantly disentangles the paradoxical effects of the momentum, by pursuing the direct causal effect caused by an input sample. In particular, we use causal intervention in training, and counterfactual reasoning in inference, to remove the "bad" while keep the "good". We achieve new state-of-the-arts on three long-tailed visual recognition benchmarks: Long-tailed CIFAR-10/-100, ImageNet-LT for image classification and LVIS for instance segmentation.

研究の動機と目的

• 重み付けやリサンプリングのヒューリスティクスを超えた、長尾分類の原理的な理解の必要性を喚起する。
• SGDモーメントが長尾設定において交絡因子および媒介因子としてどのように機能するかを説明する因果モデルを開発する。
• 尾部領域の精度を向上させるために、直接的因果効果と媒介を分離する、再訓練を伴わないワンステージの解法を提案する。
• Long-tailed CIFAR-10/-100、ImageNet-LT、LVIS などのベンチマークで理論を検証し、経験的な利得を示す。

提案手法

• 混乱と媒介をモデル化するため、モーメント M、特徴 X、ヘッド投影 D、予測 Y を含む因果グラフを構築する。
• 逆確率重み付けを用いて P(Y|do(X)) を推定するデコンファウンド訓練目的を導くために backdoor 調整を適用する。
• P(Y=i|do(X=x)) のロジットをエネルギーベースの多-head正規化分類器として定式化する（式 (Eq. 7)）。
• 介在効果を差し引く反事実推論により、X に対する Y の総直接効果（TDE）を計算する（式 (Eq. 8)）。
• 背景クラスを持つタスクについては、背景を免除した推論を用いてヘッドのバイアスを保持しつつ TDE ベースの予測を評価する。
• 従来の二段階・正規化ベース手法への理論的接続を示し（表1）、de-confound-TDE が代替案より優れる状況を説明する。

実験結果

リサーチクエスチョン

• RQ1 SGDモーメントは長尾データにおける特徴表現と予測に因果的にどのような影響を与えるか？
• RQ2 モーメントの悪い（混乱の）効果を取り除きつつ、良い（媒介）効果を保持して尾部の精度を向上させることができるか？
• RQ3 デコンファウンド訓練と直接効果推定（TDE）の組み合わせは、1ステージで再訓練を伴わない解法を提供し、データセット全体で堅牢な利得をもたらすか？
• RQ4 提案手法は既存の再重み付け・正規化ベースの手法とどのように関連し、説明するのか？

主な発見

• 長尾視覚認識の三つのベンチマーク（Long-tailed CIFAR-10/-100、ImageNet-LT）および LVIS の物体検出/セグメンテーションで新しいSOTAを達成。
• 同じ Cascade Mask R-CNN バックボーンを用いて LVIS でマスク AP を絶対 3.5%、ボックス AP を絶対 3.1% 向上させる、顕著な性能向上を示す。
• デコンファウンド訓練と TDE 推論を組み合わせた手法は、既存の再重み付け・ワンステージ手法を、多数-shot・中位-shot・少数-shotの全域で一貫して上回る。
• 二段階訓練法が機能する理由と、なぜワンステージのデコンファウンドTDE がより効果的で訓練効率が良いのかについて、原理的な説明を提供する。
• デコンファウンド-TDE が広い文脈より判別的な領域に焦点を当てることを視覚化し、直接効果の強調と一致する。