[논문 리뷰] Latent Domain Learning with Dynamic Residual Adapters

Lucas Deecke, Timothy M. Hospedales외 1명|arXiv (Cornell University)|2020. 06. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 36인용 수 4

한 줄 요약

이 논문은 도메인 레이블이 없는 환경에서 복수의 미사용 도메인으로의 특징 보정을 적응적으로 분배할 수 있도록 하는 잠재 도메인 학습을 위한 Dynamic Residual Adapters (DRA)를 제안한다. 입력 콘텐츠에 기반해 잔차 업데이트를 동적으로 라우팅하는 학습 가능한 게이팅 메커니즘을 사용함으로써, DRA는 소규모 및 대규모 도메인 모두에서 뛰어난 성능을 달성하며, 표준 모델과 도메인 감독 기반 베이스라인을 모두 능가한다. 이는 다중 도메인 이미지 분류 작업에서의 성능 향상에 기여한다.

ABSTRACT

A practical shortcoming of deep neural networks is their specialization to a single task and domain. While recent techniques in domain adaptation and multi-domain learning enable the learning of more domain-agnostic features, their success relies on the presence of domain labels, typically requiring manual annotation and careful curation of datasets. Here we focus on a less explored, but more realistic case: learning from data from multiple domains, without access to domain annotations. In this scenario, standard model training leads to the overfitting of large domains, while disregarding smaller ones. We address this limitation via dynamic residual adapters, an adaptive gating mechanism that helps account for latent domains, coupled with an augmentation strategy inspired by recent style transfer techniques. Our proposed approach is examined on image classification tasks containing multiple latent domains, and we showcase its ability to obtain robust performance across these. Dynamic residual adapters significantly outperform off-the-shelf networks with much larger capacity, and can be incorporated seamlessly with existing architectures in an end-to-end manner.

연구 동기 및 목표

• 도메인 레이블이 제공되지 않은 다중 도메인 학습 환경에서 대규모 도메인에 과적합되는 문제를 해결하기 위해.
• 수동으로 정제된 도메인 레이블에 의존하지 않고도 복수의 잠재 도메인에 걸쳐 강건하고 일반화 가능한 특징을 학습할 수 있도록 하기 위해.
• 기존 아키텍처에 쉽게 통합할 수 있고, 엔드 투 엔드 훈련이 가능한 효율적이고 즉각적인 모듈을 개발하기 위해.

제안 방법

• 입력 특징에 기반해 도메인에 따라 잔차 보정을 동적으로 할당하는 학습 가능한 게이팅 메커니즘인 Dynamic Residual Adapters (DRA)를 도입한다.
• 각 레이어가 입력 콘텐츠에 따라 적응적으로 다수의 잔차 경로를 활성화할 수 있도록 가능한 미분 가능한 라우팅 메커니즘을 사용한다.
• 학습 가능한 파rameter $ h_{\alpha_k} $를 가진 잔차 어댑터 모듈을 활용하며, 게이팅 $ g_k $ 가 각 경로의 기여도를 결정한다.
• 일반화 및 도메인 강인성을 향상시키기 위해 스타일 전이를 영감으로 삼은 증강 전략을 적용한다.
• 특징 추출과 도메인 인식 라우팅을 함께 최적화할 수 있도록 전체 모델을 엔드 투 엔드로 훈련한다.
• 레이어 간 활성화 경로를 시각화하여 의미적으로 유사한 도메인(예: 사진과 예술 그림)이 유사한 게이팅 패턴을 활성화함을 확인한다.

실험 결과

연구 질문

• RQ1 도메인 레이블에 접근할 수 없는 상황에서 딥 네트워크가 복수의 잠재 도메인에 걸쳐 일반화할 수 있는가?
• RQ2 소규모 및 부족한 도메인에서 성능를 유지하면서도 대규모 도메인에 과적합되지 않도록 모델이 어떻게 조정할 수 있는가?
• RQ3 동적이고 적응적인 라우팅 메커니즘이 다중 도메인 학습에서 고정된 도메인 감독 기반 라우팅을 능가할 수 있는가?
• RQ4 학습된 게이팅 경로가 도메인 간 의미적 유사성과 얼마나 관련이 있는가?
• RQ5 도메인 레이블이 가용한 경우에도 제안된 방법이 도메인 감독 기반 접근법을 능가하는가?

주요 결과

• Visual Decathlon 벤치마크에서 DRA 모델은 가중 평균 정확도 87.01%를 달성하여 표준 통합 모델보다 2.69%p 높은 성능을 보였다.
• PACS 데이터셋에서 DRA는 정교하게 캐릭터화된 도메인 레이블을 사용하는 도메인 감독 모델을 조차 능가했다.
• 소규모 도메인의 성능 저하를 줄였다: 예를 들어, 항공기 분류 정확도가 통합 모델 대비 20.59% 향상되었다.
• 활성화 경로의 시각화 결과, 의미적으로 유사한 도메인(예: 사진과 예술 그림)이 게이팅 활성화 공간에서 서로 가까이 군집되어 있음을 확인했다.
• 대규모 도메인에서 높은 성능를 유지하면서도 소규모 도메인에서의 성능 향상이著しく 이루어져 효과적인 도메인 균형을 보였다.
• Gumbel-softmax를 사용해 이산적 게이팅 할당을 강제하는 것은 성능 저하를 초래함으로써, 소프트하고 동적인 라우팅이 딱딱한 클러스터링보다 더 효과적임을 확인했다.