[논문 리뷰] Learning multiple visual domains with residual adapters

Sylvestre-Alvise Rebuffi, Hakan Bilen외 1명|arXiv (Cornell University)|2017. 05. 22.

Domain Adaptation and Few-Shot Learning참고 문헌 1인용 수 126

한 줄 요약

Residual adapter 모듈을 제안하여 하나의 네트워크가 열 가지 다양한 시각 도메인에서 우수한 성능을 발휘하도록 하고, 다도메인 표현을 평가하기 위한 Visual Decathlon 벤치마크를 도입합니다.

ABSTRACT

There is a growing interest in learning data representations that work well for many different types of problems and data. In this paper, we look in particular at the task of learning a single visual representation that can be successfully utilized in the analysis of very different types of images, from dog breeds to stop signs and digits. Inspired by recent work on learning networks that predict the parameters of another, we develop a tunable deep network architecture that, by means of adapter residual modules, can be steered on the fly to diverse visual domains. Our method achieves a high degree of parameter sharing while maintaining or even improving the accuracy of domain-specific representations. We also introduce the Visual Decathlon Challenge, a benchmark that evaluates the ability of representations to capture simultaneously ten very different visual domains and measures their ability to recognize well uniformly.

연구 동기 및 목표

• 여러 시각 도메인에 걸쳐 매개변수를 공유하되 도메인별 적응을 가능하게 하는 신경망 아키텍처를 개발한다.
• 도메인별 매개변수를 소량 추가하는 잔차 어댑터 모듈을 도입한다.
• 새로운 도메인을 추가하더라도 기존 지식을 잊지 않고 학습이 가능하도록 한다.
• Visual Decathlon 벤치마크를 통해 열 가지 다양한 시각 데이터셋에서 접근법을 평가한다.

제안 방법

• 잔차 블록에 소형 1x1 필터 뱅크를 추가하여 도메인별 적응을 가능하게 하되 매개변수 증가를 최소화하는 잔차 어댑터 모듈을 도입한다.
• 매개변수를 도메인 비특이(shared)와 도메인 특이(adaptation) 구성요소로 분리한다.
• 도메인 특이 매개변수를 작게 유지하기 위해 저랭크(또는 1x1 필터 기반) 파라미터화 사용 (~2(C^2+5C) per domain).
• 배치 정규화의 스케일링 및 바이어스 파라미터를 추가 도메인 의존 구성요소로 포함한다.
• ImageNet에서 사전 학습한 후 도메인별 어댑터를 학습시켜 다도메인 학습을 부트스트랩하고 잊지 않는 학습을 가능하게 한다.
• 학습 중 모든 도메인의 데이터를 순환시켜 공유 매개변수를 다듬어 주는 엔드투엔드 학습을 선택적으로 가능하게 한다.

실험 결과

연구 질문

• RQ1 매우 다른 시각 도메인들에 대해 효과적인 다도메인 학습을 가능하게 하는 소형의 도메인별 어댑터 매개변수 세트가 있는가?
• RQ2 제안된 잔차 어댑터 접근법은 표준 파인튜닝, 피처 프리징 및 다른 베이스라인들과 단일 모델의 다도메인 성능에서 어떻게 비교되는가?
• RQ3 다수의 타깃 도메인에 적응하는 동안 큰 소스 도메인(예: ImageNet)의 성능을 유지하는가?
• RQ4 어댑터 크기, 정규화 및 도메인 예측 정확도가 전반적인 다도메인 성능에 미치는 영향은 무엇인가?
• RQ5 Visual Decathlon 벤치마크가 다도메인 표현의 강점과 약점을 어떻게 드러내는가?

주요 결과

모델	#매개변수	ImNet	Airc.	C100	DPed	DTD	GTSR	Flwr	OGlt	SVHN	UCF	mean	S	# 이미지
Scratch	10×	59.87	57.10	75.73	91.20	37.77	96.55	56.30	88.74	96.63	43.27	70.32	1625	Scratch
Scratch+	11×	59.67	59.59	76.08	92.45	39.63	96.90	56.66	88.74	96.78	44.17	71.07	1826	Scratch+
Feature extractor	1×	59.67	23.31	63.11	80.33	45.37	68.16	73.69	58.79	43.54	26.80	54.28	544	Feature extractor
Finetune	10×	59.87	60.34	82.12	92.82	55.53	97.53	81.41	87.69	96.55	51.20	76.51	2500	Finetune
LwF [21]	10×	59.87	61.15	82.23	92.34	58.83	97.57	83.05	88.08	96.10	50.04	76.93	2515	LwF [21]
BN adapt. [5]	∼1×	59.87	43.05	78.62	92.07	51.60	95.82	74.14	84.83	94.10	43.51	71.76	1363	BN adapt. [5]
Res. adapt.	2×	59.67	56.68	81.20	93.88	50.85	97.05	66.24	89.62	96.13	47.45	73.88	2118	Res. adapt.
Res. adapt. decay	2×	59.67	61.87	81.20	93.88	57.13	97.57	81.67	89.62	96.13	50.12	76.89	2621	Res. adapt. decay
Res. adapt. finetune all	2×	59.23	63.73	81.31	93.30	57.02	97.47	83.43	89.82	96.17	50.28	77.17	2643	Res. adapt. finetune all
Res. adapt. dom-pred	2.5×	59.18	63.52	81.12	93.29	54.93	97.20	82.29	89.82	95.99	50.10	76.74	2503	Res. adapt. dom-pred
Res. adapt. (large)	∼12×	67.00	67.69	84.69	94.28	59.41	97.43	84.86	89.92	96.59	52.39	79.43	3131	Res. adapt. (large)

• 잔차 어댑터는 10개 도메인에 걸쳐 강한 도메인별 성능과 함께 높은 매개변수 공유를 가능하게 한다.
• 이 방법은 모든 매개변수를 파인튜닝하거나 분리된 모델을 학습하는 베이스라인에 비해 평균 정확도와 데캥슬턴 점수가 경쟁력 있게 나타난다.
• 어댑터 기반 방법은 원래 도메인에서의 망각 없이 타깃 도메인에서도 좋은 성능을 보인다.
• 어댑터 매개변수만 조정해도 여러 도메인에서 전체 파인튜닝 및 기타 베이스라인보다 우수한 성능을 보인다.
• 엔드투엔드 학습과 도메인 예측은 추가 이점을 가지며 원래 도메인에 대한 성능 감소를 최소화하며 강력한 결과를 달성한다.