[論文レビュー] Switchable Whitening for Deep Representation Learning

Xingang Pan, Xiaohang Zhan+3 more|arXiv (Cornell University)|Apr 22, 2019

Advanced Neural Network Applications参考文献 31被引用数 13

ひとこと要約

本論文では、学習可能な正規化モジュールであるスイッチャブルホワイトニング（SW）を提案する。SWは、訓練中に各層ごとに最適な操作を動的に選択することで、バッチホワイトニング、インスタンスホワイトニング、標準化技術を統一する。SWは、画像分類、セマンティックセグメンテーション、ドメイン適応、スタイル変換を含む多様なビジョンタスクで最先端の性能を達成し、ADE20Kでは45.33%のmIoUを達成し、BNベースラインより一貫した向上を示す。

ABSTRACT

Normalization methods are essential components in convolutional neural networks (CNNs). They either standardize or whiten data using statistics estimated in predefined sets of pixels. Unlike existing works that design normalization techniques for specific tasks, we propose Switchable Whitening (SW), which provides a general form unifying different whitening methods as well as standardization methods. SW learns to switch among these operations in an end-to-end manner. It has several advantages. First, SW adaptively selects appropriate whitening or standardization statistics for different tasks (see Fig.1), making it well suited for a wide range of tasks without manual design. Second, by integrating benefits of different normalizers, SW shows consistent improvements over its counterparts in various challenging benchmarks. Third, SW serves as a useful tool for understanding the characteristics of whitening and standardization techniques. We show that SW outperforms other alternatives on image classification (CIFAR-10/100, ImageNet), semantic segmentation (ADE20K, Cityscapes), domain adaptation (GTA5, Cityscapes), and image style transfer (COCO). For example, without bells and whistles, we achieve state-of-the-art performance with 45.33% mIoU on the ADE20K dataset. Code is available at https://github.com/XingangPan/Switchable-Whitening.

研究の動機と目的

• 標準化（例：BN、IN、LN）とホワイトニング（例：BW、IW）といった多様な正規化技術を、1つの学習可能なフレームワークに統合すること。
• タスク固有のニーズに応じて、各層における最適な正規化操作をエンドツーエンドで学習可能にし、手動設計を不要にする。
• 深層表現学習におけるホワイトニングと標準化の相対的寄与度を調査すること。
• さまざまなビジョンタスクにおける異なる正規化手法の挙動と有効性を分析するためのツールを提供すること。

提案手法

• SWは、学習可能な重要度重みを用いて、複数の正規化操作（例：BW、IW、BN、IN、LN）を1つの微分可能モジュールに統合する。
• 各正規化タイプは、それぞれ独自の統計（平均と共分散）を用いて独立に計算され、学習可能なパラメータで制御される重み付き和によって統合される。
• 重要度重みはエンドツーエンドで学習され、ネットワークが各層およびタスクに応じて最も適切な正規化を選択できるようにする。
• 最小限の（BW、IW）および完全な（BW、IW、BN、IN、LN）正規化器のセットをサポートし、柔軟な適応を可能にする。
• フレームワークはプラグアンドプレイであり、アーキテクチャの変更なしに任意のCNNアーキテクチャに挿入可能である。
• 重要度重みの学習ダイナミクスを分析し、タスク固有の正規化選好を理解する。

実験結果

リサーチクエスチョン

• RQ1 統合された正規化フレームワークは、タスク要件に応じて、さまざまなホワイトニングおよび標準化技術の間で切り替えを学習できるか？
• RQ2 インスタンスホワイトニング（IW）は、画像分類やドメイン適応といった高レベルビジョンタスクにおいて有益であるか？
• RQ3 ホワイトニングが既に適用されている場合、標準化は依然として必要か、それとも完全なホワイトニングで十分か？
• RQ4 異なる正規化手法はどのように相互作用し、さまざまなビジョンタスクにおける相対的寄与度は何か？

主な発見

• SWは、ADE20Kセマンティックセグメンテーションベンチマークで45.33%のmIoUを達成し、先行手法を上回る最先端の性能を示した。
• ImageNetでは、ResNet50を用いた場合、BNベースラインより1.51%の精度向上を達成した。
• Cityscapesにおけるセマンティックセグメンテーションでは、BNベースモデルより4.1%の精度向上を達成した。
• ドメイン適応（GTA5 → Cityscapes）においては、VGG16を用いた場合、BNベースラインより3.0%の性能向上を達成した。
• 画像スタイル変換においては、SWはインスタンスホワイトニング（IW）と同等の性能を達成し、INを上回ったが、コンテンツ損失は低かった。
• 分析の結果、BWとIWがSWにおける主な選択肢であることが判明し、多くのタスクにおいて完全なホワイトニングが標準化の必要性をほとんど取り除くことが示された。