[論文レビュー] Accelerating Deep Unsupervised Domain Adaptation with Transfer Channel Pruning

Chaohui Yu, Jindong Wang+2 more|arXiv (Cornell University)|Mar 25, 2019

Domain Adaptation and Few-Shot Learning参考文献 43被引用数 9

ひとこと要約

本稿では、冗長なチャネルの削除とクロスドメイン分布の乖離を同時に低減することで、深層教師なしドメイン適応（UDA）の高速化を図る統合的手法である転送チャネルプルーニング（TCP）を提案する。TCPは、VGG16で最大26%、ResNet50で12%のFLOPs削減を達成しながら、ベースラインと同等またはそれ以上の精度を実現し、UDAモデル向けの有効なネットワーク圧縮手法として初めてのものである。

ABSTRACT

Deep unsupervised domain adaptation (UDA) has recently received increasing attention from researchers. However, existing methods are computationally intensive due to the computation cost of Convolutional Neural Networks (CNN) adopted by most work. To date, there is no effective network compression method for accelerating these models. In this paper, we propose a unified Transfer Channel Pruning (TCP) approach for accelerating UDA models. TCP is capable of compressing the deep UDA model by pruning less important channels while simultaneously learning transferable features by reducing the cross-domain distribution divergence. Therefore, it reduces the impact of negative transfer and maintains competitive performance on the target task. To the best of our knowledge, TCP is the first approach that aims at accelerating deep UDA models. TCP is validated on two benchmark datasets-Office-31 and ImageCLEF-DA with two common backbone networks-VGG16 and ResNet50. Experimental results demonstrate that TCP achieves comparable or better classification accuracy than other comparison methods while significantly reducing the computational cost. To be more specific, in VGG16, we get even higher accuracy after pruning 26% floating point operations (FLOPs); in ResNet50, we also get higher accuracy on half of the tasks after pruning 12% FLOPs. We hope that TCP will open a new door for future research on accelerating transfer learning models.

研究の動機と目的

• リソース制約のあるデバイスへの展開を制限する、深層UDAモデルの高い計算コストに対処すること。
• ターゲットドメインにラベルが利用できないという特徴に合わせた、教師なしドメイン適応向けのネットワーク圧縮手法を開発すること。
• プルーニングの過程でドメイン分布の不一致を考慮することで、負の転送を低減すること。
• 標準的なディープラーニングライブラリと互換性がある汎用的で、効率的かつ高精度な圧縮フレームワークを構築すること。

提案手法

• TCPは、ドメイン乖離度の指標を用いて、ソースドメインおよびターゲットドメインの両方におけるチャネルの重要度を統合的に評価する「転送チャネル評価モジュール」を導入する。
• MMDなどのクロスドメイン分布乖離を最小化する寄与度に基づき、反復的に重要度の低いチャネルをプルーニングする。
• ソースおよびターゲットの両ブランチで同時にプルーニングを実行することで、特徴の転送性を維持し、負の転送を低減する。
• 精度と圧縮のバランスを取る統一された最適化目的関数を用いて、エンドツーエンドで訓練する。
• VGG16 や ResNet50 といった標準的なCNNアーキテクチャをバックボーンとして利用することで、既存のUDAモデルとの互換性を確保する。
• 特殊なハードウェアやソフトウェアを必要とせず、標準的なディープラーニングパイプラインへの容易な統合が可能である。

実験結果

リサーチクエスチョン

• RQ1 ターゲットドメインのラベルに依存せずに、教師なしドメイン適応にチャネルプルーニングを効果的に適用できるか？
• RQ2 ソースおよびターゲット特徴の同時プルーニングは、負の転送を低減させ、モデルの一般化性能を向上させるか？
• RQ3 UDA環境において、統一されたプルーニングフレームワークは、段階的または別個のプルーニング戦略を上回るか？
• RQ4 TCPは、FLOPsをどの程度削減しつつ、ターゲットドメインでの分類精度を維持または向上できるか？
• RQ5 プルーニング後のモデルは、ベースラインと比較して、より優れた特徴の識別性とドメイン整合性を保持しているか？

主な発見

• VGG16ベースのモデルでは、26%のFLOPs削減の下で、ベースラインを上回る分類精度を達成しており、プルーニングによる性能向上を示している。
• ResNet50では、12%のFLOPs削減後、半数のタスクで精度が向上しており、強靭性と有効性が裏付けられている。
• 2段階のプルーニングやアブレーションバージョン（TCP_w/o_DA）と比較して、あらゆる圧縮率においてTCPが優れていることから、ドメインに配慮した同時プルーニングの重要性が確認された。
• t-SNE可視化の結果、TCPはターゲットドメインでより識別性が高く、明確に分離された特徴を生成しており、優れた転送性を示している。
• プルーニングは、VGG16およびResNet50の高層部に優先的に行われており、冗長性が顕著な領域に一致しており、低層部は共有されやすい転送可能な特徴を保持しているという観察と整合している。
• プルーニング後のモデルは、クロスドメイン分布乖離が低減し、ターゲットサンプルのクラスタリングが向上することで、強固なドメイン整合性を維持している。