[論文レビュー] Long-Tailed Classification by Keeping the Good and Removing the Bad Momentum Causal Effect

Kaihua Tang, Jianqiang Huang+1 more|arXiv (Cornell University)|Sep 28, 2020

Domain Adaptation and Few-Shot Learning参考文献 59被引用数 50

ひとこと要約

本論文はSGDモーメントを長尾分布の分類における混乱因子として特定する因果フレームワークを提案し、有用な媒介を維持しつつ有害なバックドア偏りを除去する1段階の非混乱訓練と総直接効果（TDE）推論を提案する。

ABSTRACT

As the class size grows, maintaining a balanced dataset across many classes is challenging because the data are long-tailed in nature; it is even impossible when the sample-of-interest co-exists with each other in one collectable unit, e.g., multiple visual instances in one image. Therefore, long-tailed classification is the key to deep learning at scale. However, existing methods are mainly based on re-weighting/re-sampling heuristics that lack a fundamental theory. In this paper, we establish a causal inference framework, which not only unravels the whys of previous methods, but also derives a new principled solution. Specifically, our theory shows that the SGD momentum is essentially a confounder in long-tailed classification. On one hand, it has a harmful causal effect that misleads the tail prediction biased towards the head. On the other hand, its induced mediation also benefits the representation learning and head prediction. Our framework elegantly disentangles the paradoxical effects of the momentum, by pursuing the direct causal effect caused by an input sample. In particular, we use causal intervention in training, and counterfactual reasoning in inference, to remove the "bad" while keep the "good". We achieve new state-of-the-arts on three long-tailed visual recognition benchmarks: Long-tailed CIFAR-10/-100, ImageNet-LT for image classification and LVIS for instance segmentation.

研究の動機と目的

• モーメント駆動の混乱因子の下で、長尾分類法がなぜ完全には一般化できないのかを説明する。
• 有益な媒介を維持しつつ有害な混乱因子を取り除く、原理的な因果学習フレームワークを提案する。
• 非再訓練型の1段階ソリューションとして、非混同行訓練とTDE推論に基づく長尾認識を提供する。

提案手法

• モーメントを4変数因果グラフ(M, X, D, Y)の混乱因子Mとしてモデル化する。
• バックドア調整を適用して、P(Y|do(X))を推定する非混乱訓練目的を導出する。
• エネルギーベースのマルチヘッド重み付け手法を用いて、非混乱ロジットの逆確率加重を近似する。
• 総直接効果(TDE) Y|do(X) を、Xの直接効果を保持しつつDを通じた間接効果を差し引く反実仮想の差として計算する。
• 推論時には反実仮想のX0（null入力）でTDEを適用して直接効果を分離する。背景クラスを持つタスク向けに背景除外推論を導入する。

実験結果

リサーチクエスチョン

• RQ1 SGDモーメントは長尾データセットにおける尾クラスの予測を偏らせる混乱因子として機能し得るか？
• RQ2 モーメントによって導入される媒介とバックドア経路からX→Yの直接因果効果をどう分離できるか？
• RQ3 1段階の非混乱訓練とTDE推論は、長尾ビジョンベンチマークの既存の2段階リバランシング手法を上回るか？
• RQ4 提案手法は正規化分類器（例：コサイン）とどのように関連し、長尾設定で正当化され得るか？

主な発見

• 多くの設定で長尾CIFAR-10/100およびImageNet-LTにおいて新しい最先端結果を達成。
• 前任の方法と比較して、LVISのインスタンス分割と物体検出の両方で顕著な改善を示す。
• 非混乱訓練とTDE推論の組み合わせが、2段階リバランシング手法を上回り、その有効性を説明できることを示す。
• D（頭部偏り特徴方向を介した媒介）が性能に寄与する一方、Mによるバックドア混乱が尾部予測を低下させることを示し、TDEでそれを緩和する。
• 正規化分類器（コサインなど）への理論的接続を提供し、Grad-CAMを通じて識別に寄与する領域への焦点が改善されることを説明する。