[論文レビュー] Learning multiple visual domains with residual adapters

Sylvestre-Alvise Rebuffi, Hakan Bilen+1 more|arXiv (Cornell University)|May 22, 2017

Domain Adaptation and Few-Shot Learning参考文献 1被引用数 126

ひとこと要約

残差アダプタを用いたモジュールを提案し、単一のネットワークで十を超える多様な視覚ドメインにわたり良好な性能を達成できるようにする。Visual Decathlon ベンチマークを導入し、マルチドメイン表現を評価する。

ABSTRACT

There is a growing interest in learning data representations that work well for many different types of problems and data. In this paper, we look in particular at the task of learning a single visual representation that can be successfully utilized in the analysis of very different types of images, from dog breeds to stop signs and digits. Inspired by recent work on learning networks that predict the parameters of another, we develop a tunable deep network architecture that, by means of adapter residual modules, can be steered on the fly to diverse visual domains. Our method achieves a high degree of parameter sharing while maintaining or even improving the accuracy of domain-specific representations. We also introduce the Visual Decathlon Challenge, a benchmark that evaluates the ability of representations to capture simultaneously ten very different visual domains and measures their ability to recognize well uniformly.

研究の動機と目的

• 複数の視覚ドメイン間でパラメータを共有しつつ、ドメイン特化の適応を可能にするニューラルアーキテクチャを開発する。
• 小さな数のドメイン特異パラメータを追加する残差アダプタモジュールを導入する。
• 新しいドメインを追加しても忘れずに学習できるようにする。
• Visual Decathlon ベンチマークを通じて十の多様な視覚データセットで手法を評価する。

提案手法

• 残差ブロックに追加する小さな1x1フィルタバンクとして残差アダプタモジュールを導入し、最小限のパラメータ増加でドメイン特有の適応を可能にする。
• パラメータをドメイン非依存（共有）とドメイン特異（適応）の成分に分割する。
• 低ランクまたは1x1フィルタベースのパラメータ化を用いて、ドメイン特異パラメータを小さく保つ（各ドメインあたり約2(C^2+5C)）。
• バッチ正規化のスケーリングとバイアスパラメータを追加のドメイン依存コンポーネントとして組み込む。
• ImageNetで事前学習を行い、各ドメインごとにアダプタを訓練して、忘却なしに学習を可能にすることでマルチドメイン学習をブーストする。
• トレーニング中に全ドメインのデータを循環させて共同学習を行い、共有パラメータを精練することでエンドツーエンド学習をオプションで有効にする。

実験結果

リサーチクエスチョン

• RQ1 非常に異なる視覚ドメインにわたって、コンパクトなドメイン特異アダプタパラメータの集合は効果的なマルチドメイン学習を可能にするか？
• RQ2 提案された残差アダプタ手法は、標準的なファインチューニング、特徴量のフリーズ、その他のベースラインと比較して、単一モデルのマルチドメイン性能においてどうか。
• RQ3 複数のターゲットドメインへ適応しつつ、元の大規模ソースドメイン（例: ImageNet）での性能を維持できるか。
• RQ4 アダプタのサイズ、正則化、およびドメイン予測精度が全体のマルチドメイン性能に与える影響は何か。
• RQ5 Visual Decathlon ベンチマークはマルチドメイン表現の長所と短所をどのように示すか。

主な発見

モデル	#par.	ImNet	Airc.	C100	DPed	DTD	GTSR	Flwr	OGlt	SVHN	UCF	平均	S	# 画像
Scratch	10×	59.87	57.10	75.73	91.20	37.77	96.55	56.30	88.74	96.63	43.27	70.32	1625	Scratch
Scratch+	11×	59.67	59.59	76.08	92.45	39.63	96.90	56.66	88.74	96.78	44.17	71.07	1826	Scratch+
Feature extractor	1×	59.67	23.31	63.11	80.33	45.37	68.16	73.69	58.79	43.54	26.80	54.28	544	Feature extractor
Finetune	10×	59.87	60.34	82.12	92.82	55.53	97.53	81.41	87.69	96.55	51.20	76.51	2500	Finetune
LwF [21]	10×	59.87	61.15	82.23	92.34	58.83	97.57	83.05	88.08	96.10	50.04	76.93	2515	LwF [21]
BN adapt. [5]	∼1×	59.87	43.05	78.62	92.07	51.60	95.82	74.14	84.83	94.10	43.51	71.76	1363	BN adapt. [5]
Res. adapt.	2×	59.67	56.68	81.20	93.88	50.85	97.05	66.24	89.62	96.13	47.45	73.88	2118	Res. adapt.
Res. adapt. decay	2×	59.67	61.87	81.20	93.88	57.13	97.57	81.67	89.62	96.13	50.12	76.89	2621	Res. adapt. decay
Res. adapt. finetune all	2×	59.23	63.73	81.31	93.30	57.02	97.47	83.43	89.82	96.17	50.28	77.17	2643	Res. adapt. finetune all
Res. adapt. dom-pred	2.5×	59.18	63.52	81.12	93.29	54.93	97.20	82.29	89.82	95.99	50.10	76.74	2503	Res. adapt. dom-pred
Res. adapt. (large)	∼12×	67.00	67.69	84.69	94.28	59.41	97.43	84.86	89.92	96.59	52.39	79.43	3131	Res. adapt. (large)

• 残差アダプタは、十のドメインにまたがる強力なドメイン特化性能を保ちつつ、高いパラメータ共有を実現する。
• この手法は、全パラメータをファインチューニングする baselines や別モデルを訓練する場合と比べて、平均精度が競争力があり、デカスロンスコアが有利である。
• アダプタベースの手法は、元のドメインの忘却を示さず、ターゲットドメインで良好な性能を発揮する。
• アダプタパラメータのみを調整するだけで、いくつかのドメインで全ファインチューニングや他のベースラインよりも優れる。
• エンドツーエンド学習とドメイン予測には追加の利点があり、元のドメインでのパフォーマンス低下を最小限に抑えつつ高い結果を達成する。