[論文レビュー] Domain-Specific Batch Normalization for Unsupervised Domain Adaptation

Woong-Gi Chang, Tackgeun You+3 more|arXiv (Cornell University)|May 27, 2019

Domain Adaptation and Few-Shot Learning参考文献 30被引用数 25

ひとこと要約

本稿では、ドメイン固有のバッチ正規化（DSBN）を提案する。DSBNは、ソースドメインとターゲットドメインの両方で別々のバッチ正規化層を用いるが、他のすべてのネットワークパラメータを共有する、新しい非教師ありドメイン適応フレームワークである。2段階の訓練プロセスを採用し、最初にDSBN統合モデルで偽ラベルを生成し、次にマルチタスク分類によってそれらを精錬することで、Office-31およびVisDA-Cベンチマークで最先端の性能を達成した。ドメイン固有の正規化により、ドメイン不変表現学習が著しく向上した。

ABSTRACT

We propose a novel unsupervised domain adaptation framework based on domain-specific batch normalization in deep neural networks. We aim to adapt to both domains by specializing batch normalization layers in convolutional neural networks while allowing them to share all other model parameters, which is realized by a two-stage algorithm. In the first stage, we estimate pseudo-labels for the examples in the target domain using an external unsupervised domain adaptation algorithm---for example, MSTN or CPUA---integrating the proposed domain-specific batch normalization. The second stage learns the final models using a multi-task classification loss for the source and target domains. Note that the two domains have separate batch normalization layers in both stages. Our framework can be easily incorporated into the domain adaptation techniques based on deep neural networks with batch normalization layers. We also present that our approach can be extended to the problem with multiple source domains. The proposed algorithm is evaluated on multiple benchmark datasets and achieves the state-of-the-art accuracy in the standard setting and the multi-source domain adaption scenario.

研究の動機と目的

• ドメインシフト問題に取り組むために、ドメイン固有の情報をドメイン不変特徴から分離する。
• ドメイン固有のバッチ正規化層を導入することで、深層ニューラルネットワークの一般化性能を向上させ、各ドメインに特化させながらも、他のすべてのモデルパラメータを共有する。
• 従来の深層学習ベースのドメイン適応手法でバッチ正規化を用いるものと互換性がある汎用的でプラグイン可能なフレームワークを開発する。
• 複数のソースドメインへの適応を効果的に行うために、DSBNを複数のソースドメインに拡張する。
• 偽ラベルの反復的精錬とドメイン固有の正規化を通じて、標準ベンチマークで最先端の性能を達成する。

提案手法

• 標準バッチ正規化を、ソースドメイン用とターゲットドメイン用の2つの並列BNブランチに置き換えるドメイン固有バッチ正規化（DSBN）を提案。各ブランチはドメイン固有の統計を学習する。
• 2段階の訓練戦略を採用：第1段階では、DSBNを統合した事前学習モデルが、ラベルなしのターゲットドメインデータの偽ラベルを生成する。第2段階では、ソースデータと偽ラベル付きターゲットデータの両方を用いてマルチタスク分類ネットワークを訓練する。
• ドメイン間で同一のネットワークアーキテクチャを用いるが、ドメインごとに別々のBN統計を維持することで、ドメイン固有の特徴適応が可能になり、他のすべてのレイヤーとパラメータは共有される。
• 第2段階で反復的精錬を適用し、1回目の反復で得られたモデルを用いて次の反復の改善された偽ラベルを生成することで、段階的に性能を向上させる。
• 各ソースドメインに別々のBNブランチを割り当てることで、複数のソースドメインへの適応を拡張。複数のソース間で統合的適応が可能になる。
• 標準BN層をDSBNに置き換えることで、MSTNやCPUAといった既存の非教師ありドメイン適応手法にDSBNを統合。互換性を保ちつつ性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ドメイン固有のバッチ正規化は、共有特徴からドメイン固有の統計を分離することで、非教師ありドメイン適応における表現学習を向上させ得るか？
• RQ2 偽ラベルの精錬を伴う2段階の訓練プロセスは、ドメインシフトの状況下でモデルの一般化性能を向上させるか？
• RQ3 DSBNは複数のソースドメインへの適応に効果的に拡張可能であり、このような状況下で標準BNを上回る性能を示すか？
• RQ4 共有バッチ正規化と比較して、DSBNはどの程度ドメイン不変表現学習を向上させるか？
• RQ5 偽ラベルの反復的精錬は、第2段階訓練における最終分類精度にどのように影響するか？

主な発見

• Office-31データセットでは、DSBNが最先端の精度を達成。MSTNを用いた場合の平均精度は75.4%、CPUAを用いた場合の精度は81.2%に達した。
• VisDA-Cベンチマークでは、MSTNを用いたマルチソース設定で82.3%の精度、CPUAを用いた場合で83.0%の精度を達成。標準BNや他のベースラインを著しく上回った。
• アブレーションスタディの結果、第2段階でBNのみを使用する場合と比較して、DSBNを両段階に使用した場合に+7.9%の精度向上が見られ、ドメイン固有正規化の重要性が示された。
• 反復的第2段階訓練により、1回目の反復後は80.2%の精度から、4回目の反復後には82.7%まで向上し、偽ラベルの時間的精錬の有効性が確認された。
• t-SNE可視化により、同じクラスの特徴がドメイン間でよりよく一致していることが確認され、ドメイン不変表現学習の向上が示された。
• 細分化されたクラスや曖昧なカテゴリにおいても一貫した性能向上が得られ、特にこれらのクラスで最大の改善が観察された。