[論文レビュー] Split Batch Normalization: Improving Semi-Supervised Learning under Domain Shift

Michał Zając, Konrad Żołna+1 more|arXiv (Cornell University)|Apr 6, 2019

Domain Adaptation and Few-Shot Learning参考文献 22被引用数 10

ひとこと要約

本論文は、半教師あり学習（SSL）におけるドメインシフト下での頑健性を向上させるために、ラベル付きデータとラベルなしデータのバッチ正規化統計を別々に計算する手法「Split Batch Normalization（Split-BN）」を提案する。バッチ正規化統計を分離することにより、ラベルなしデータの分布がラベル付きデータと異なる場合の性能低下を顕著に軽減し、CIFAR-10およびImageNetにおいて、ノイズや色変換を含むさまざまなドメインシフト下で最先端の結果を達成する。

ABSTRACT

Recent work has shown that using unlabeled data in semi-supervised learning is not always beneficial and can even hurt generalization, especially when there is a class mismatch between the unlabeled and labeled examples. We investigate this phenomenon for image classification on the CIFAR-10 and the ImageNet datasets, and with many other forms of domain shifts applied (e.g. salt-and-pepper noise). Our main contribution is Split Batch Normalization (Split-BN), a technique to improve SSL when the additional unlabeled data comes from a shifted distribution. We achieve it by using separate batch normalization statistics for unlabeled examples. Due to its simplicity, we recommend it as a standard practice. Finally, we analyse how domain shift affects the SSL training process. In particular, we find that during training the statistics of hidden activations in late layers become markedly different between the unlabeled and the labeled examples.

研究の動機と目的

• ラベル付きデータと異なる分布からのラベルなしデータが半教師あり学習（SSL）の性能を低下させる問題に対処すること。
• ドメインシフト下でのSSLの失敗の根本的原因を特定すること、特にバッチ正規化の果たす役割に焦点を当てる。
• アーキテクチャの変更なしに、実用的で即座に適用可能なSSLの頑健性を向上させるソリューションを提案すること。
• ドメインシフト下で、深層ネットワークの活性化統計と最適化ダイナミクスにどのように影響を与えるかを分析すること。

提案手法

• Split-BNは、学習中にラベル付きおよびラベルなしミニバッチのそれぞれに対して別々のバッチ正規化統計（平均および分散）を計算する。
• 順伝播の際、それぞれのバッチ統計に基づいて、ラベル付きおよびラベルなし例に固有の正規化パラメータ（α, β）を適用する。
• 推論時には標準的なバッチ正規化を維持し、ラベル付きおよびラベルなし統計の別々の移動平均を保持する。
• Mean Teacher や Virtual Adversarial Training（VAT）などの既存のSSLフレームワークと互換性がある。
• アーキテクチャの再トレーニングやハイパーパrameterチューニングを除き、標準的なSSL設定を超える追加設定が不要な軽量な手法である。
• 著者らは、CIFAR-10およびImageNetにおけるグレースケール、ノイズ、コントラスト変化、オクルージョンを含む複数のドメインシフトに対して、この手法の有効性を検証した。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータとラベルなしデータの間でドメインシフトが生じた場合、半教師あり学習手法の性能にどのように影響を与えるか？
• RQ2 なぜバッチ正規化がドメインシフト下で性能低下を悪化させるのか、そしてそれが根本原因であるのか？
• RQ3 ラベル付きおよびラベルなしデータのバッチ正規化統計を分離することで、分布シフト下でのSSLの頑健性が向上するか？
• RQ4 ドメインシフト下で、トレーニング中の隠れ層の活性化統計はどのように変化するか？ これにより最適化ダイナミクスにどのような示唆が得られるか？
• RQ5 ドメインシフト下での性能低下はバッチ正規化に起因するのか、それともより一般的な最適化の問題なのか？

主な発見

• Split-BNは、CIFAR-10およびImageNetにおける複数のドメインシフト下で顕著な性能向上を達成し、分布の不一致がもたらす悪影響を効果的に相殺する。
• グレースケールドメインシフト下のCIFAR-10において、Mean TeacherにSplit-BNを適用した結果、77.5%の精度を達成したのに対し、対照的に6.5%の精度にとどまり、4%の向上を示した。
• SSLトレーニングにおける補助損失が、Split-BNを用いることで1桁減少し、無教師目的の最適化が改善されていることを示している。
• ドメインシフト下では、ラベル付きおよびラベルなし例の間で、特に後段の層の活性化統計が顕著に乖離していることが明らかになった。これは根本的な最適化の課題を示唆している。
• バッチ正規化層を削除しても、ドメインシフト下での性能低下は解消されないため、バッチ正規化がSSL不安定性の根本原因ではないことが証明された。
• 極端な例として、8A8O-ImageNetと呼ばれる特殊に構築されたサブセットでは、いかなるSSL手法でもラベルなしデータを有効に活用できなかった。これは、分布シフトの深刻さを強調している。