[論文レビュー] Depthwise Convolution is All You Need for Learning Multiple Visual Domains

Yunhui Guo, Yandong Li+3 more|arXiv (Cornell University)|Feb 3, 2019

Domain Adaptation and Few-Shot Learning参考文献 36被引用数 32

ひとこと要約

この論文は、共有の pointwise 枝とドメイン固有の depthwise 枝を用いた depthwise separable convolution を使用するマルチドメイン学習モデルを提案し、 prior methods のおおよそ半分のパラメータで Visual Decathlon で最先端の結果を達成します。

ABSTRACT

There is a growing interest in designing models that can deal with images from different visual domains. If there exists a universal structure in different visual domains that can be captured via a common parameterization, then we can use a single model for all domains rather than one model per domain. A model aware of the relationships between different domains can also be trained to work on new domains with less resources. However, to identify the reusable structure in a model is not easy. In this paper, we propose a multi-domain learning architecture based on depthwise separable convolution. The proposed approach is based on the assumption that images from different domains share cross-channel correlations but have domain-specific spatial correlations. The proposed model is compact and has minimal overhead when being applied to new domains. Additionally, we introduce a gating mechanism to promote soft sharing between different domains. We evaluate our approach on Visual Decathlon Challenge, a benchmark for testing the ability of multi-domain models. The experiments show that our approach can achieve the highest score while only requiring 50% of the parameters compared with the state-of-the-art approaches.

研究の動機と目的

• 視覚ドメイン間で再利用可能な構造を特定し、1つのモデルで複数ドメインを実現する。
• クロスチャネルと空間相関を分離する depthwise separable convolution ベースのアーキテクチャを提案する。
• 共有コンポーネントとゲーティング機構を介して新しいドメインの追加学習を最小限の追加パラメータで実現する。
• depthwise と pointwise 畳み込みで学習された特徴の解釈性を検討する。
• Visual Decathlon Challenge での性能を評価し、強力なベースラインと比較する。

提案手法

• ResNet-26 のバックボーンにおける標準の 3×3 畳み込みを depthwise separable convolution（depthwise 3×3 に続く 1×1 pointwise）に置換し、パラメータを削減する。
• ドメイン間で pointwise 畳み込みを共有し、クロスチャネル相関をモデル化する。
• 新しいドメインに対してドメイン特有の depthwise フィルタとドメイン特有の batchnorm パラメータを維持する。
• 推論時にはすべてのドメインの depthwise フィルタを積み重ねてドメイン特有の出力を計算する。
• 層間でドメイン固有の空間相関をソフトに結合する深層共有ゲートを導入する。
• ImageNet 訓練から初期化し、新しいドメインに対して depthwise フィルタを微調整しながらドメイン固有の出力ヘッドを追加する。

実験結果

リサーチクエスチョン

• RQ1 単一のニューラルネットワークが、ドメイン固有の空間パターンを許容しつつ、普遍的な跨ドメイン構造を捉えることができるか？
• RQ2 ポイントワイズ（クロスチャネル）フィルタをドメイン間で共有することは、depthwise フィルタを共有するよりパラメータ効率と性能が良いか？
• RQ3 depthwise フィルタのソフト共有メカニズムは、ドメイン間の性能にどのように影響するか？
• RQ4 マルチドメイン設定における depthwise と pointwise 畳み込みが学習した特徴の解釈性はどうなるか？
• RQ5 提案手法は Visual Decathlon Challenge において、最先端のベースラインと比較してどのように性能を示すか？

主な発見

• 提案された depthwise/separable アーキテクチャは、ベースラインの約半分のパラメータでありながら、試験した方法の中で最高の Visual Decathlon スコアを達成した。
• ResNet-26 で標準畳み込みを depthwise separable 畳み込みに置換すると ImageNet の性能が大幅に向上する（63.99 vs 60.32）。
• ドメイン間で pointwise フィルタ（クロスチャネル）を共有することは、depthwise フィルタを共有することより競争力がある、または優れている場合があり、全体の利益とパラメータ効率をもたらす。
• ドメイン固有の depthwise フィルタと共有の pointwise フィルタは、新しいドメインへの適応を、追加パラメータのオーバーヘッドを抑えつつ効果的に可能にする（拡張設定で新しいドメインあたり約 0.3M のパラメータ）。
• 深層共有の depthwise フィルタは、一部のドメインでマ marginal gains を提供するが、全体としてはベースアプローチを上回らない；早段または後段層の共有でいくつかの利得が見られる。
• ネットワーク解剖学的分析は depthwise 畳み込みがより高レベルの概念とより多くの属性を捉えることを示し、跨ドメイン共有は空間フィルタリングよりチャネルレベルで有効であることを示唆する。