[논문 리뷰] Multi-Domain Adversarial Learning

Alice Schoenauer-Sebag, Louise Heinrich외 4명|arXiv (Cornell University)|2019. 03. 21.

Cell Image Analysis Techniques인용 수 23

한 줄 요약

이 논문은 클래스 집합이 겹치지만 동일하지 않은 데이터셋과 다양한 레이블 가용성으로 인한 도메인 간 이동을 고려한, 반감독형 다중도메 학습을 위한 MuLann이라는 다중도메 적대적 학습 프레임워크를 제안한다. 이는 도메인 적대적 신경망을 확장하여, 일반화 성능을 향상시키는 데 기여한다. 새로운 손실 함수와 H-분산도를 사용한 이론적 경계를 도입하여 평균 및 최악의 도메인 리스크를 최소화하며, 이미지 벤치마크와 새로운 생물영상 데이터셋인 Cell에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Multi-domain learning (MDL) aims at obtaining a model with minimal average risk across multiple domains. Our empirical motivation is automated microscopy data, where cultured cells are imaged after being exposed to known and unknown chemical perturbations, and each dataset displays significant experimental bias. This paper presents a multi-domain adversarial learning approach, MuLANN, to leverage multiple datasets with overlapping but distinct class sets, in a semi-supervised setting. Our contributions include: i) a bound on the average- and worst-domain risk in MDL, obtained using the H-divergence; ii) a new loss to accommodate semi-supervised multi-domain learning and domain adaptation; iii) the experimental validation of the approach, improving on the state of the art on two standard image benchmarks, and a novel bioimage dataset, Cell.

연구 동기 및 목표

• 다른 실험적 편향과 불완전한 클래스 커버리지를 가진 여러 생물영상 데이터셋 간에서 강건한 모델을 학습하는 문제를 해결하기 위해.
• 반감독형 학습을 고려한 다중도메 설정으로 도메인 적대적 학습을 확장하여, 각 도메인에서 레이블이 있는 및 없는 예제의 수가 다를 수 있도록 하기 위해.
• H-분산도를 사용하여 평균 및 최악의 도메인 리스크에 대한 이론적 경계를 개발하여, 모든 도메인 간 일반화를 보장하기 위해.
• 클래스 비대칭성을 다루고, 최소한의 레이블 데이터로도 도메인 간 지식 전이를 가능하게 하는 새로운 손실 함수를 설계하기 위해.
• 기존의 최신 기술 수준의 접근 방식보다 뛰어난 성능을 보여주기 위해, 표준 이미지 벤치마크와 새로운 생물영상 데이터셋인 Cell에서 실험적으로 검증하기 위해.

제안 방법

• 도메인 적대적 신경망(DANN)을 확장하기 위해 기울기 반전 층과 도메인 식별자 도메인을 도입하여, 다양한 도메인 간 특징 분포를 정렬한다.
• 다양한 클래스 구성이 있는 도메인 간에서 반감독형 학습을 처리할 수 있도록, 새로운 손실 함수를 제안한다. 이는 다양한 도메인에서 레이블이 없는 데이터를 활용할 수 있도록 한다.
• 기존 클래스와 알려지지 않은 클래스를 구분할 수 있는 지식 식별자를 도입하여, 클래스 비대칭성에 대한 강건성을 향상시킨다.
• H-분산도를 사용하여 평균 및 최악의 도메인 리스크에 대한 이론적 경계를 설정함으로써, 모든 도메인 간 일반화를 보장한다.
• 공유된 특징 추출기, 도메인 식별자, 작업별 전용 헤드를 포함한 아키텍처를 사용하며, 도메인 불변 표현을 유도하기 위해 기울기 반전 층을 도입한다.
• 학습률, 람다(도메인 정렬 가중치), 젠자(클래스 불균형 가중치)에 대한 초모델 튜닝을 교차 검증을 통해 수행하며, 지수 스케줄을 사용한다.

실험 결과

연구 질문

• RQ1 클래스 집합이 겹치지만 완전히 동일하지 않은 여러 도메인 간에 통합된 모델을 훈련시킬 수 있으며, 평균 및 최악의 리스크가 낮아질 수 있는가?
• RQ2 클래스 비대칭성이 존재하는 반감독형 다중도메 학습으로 도메인 적대적 훈련을 어떻게 확장할 수 있는가?
• RQ3 H-분산도를 사용하여 다수의 도메인에서 훈련된 모델의 리스크에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ4 레이블 데이터가 부족하거나 불균형한 도메인 간에서 제안된 손실 함수는 성능을 어떻게 향상시키는가?
• RQ5 MuLann은 실제 생물영상 및 표준 이미지 벤치마크에서 기존의 방법들보다 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• MuLann은 반감독형 도메인 적응에서 세 가지 표준 이미지 벤치마크(Digits, Signs, Office)에서 최신 기술 수준의 방법들을 뛰어넘었으며, Webcam→Amazon 작업에서 54.5%의 정확도를 기록하여 DANN의 57.5%와 MADA의 37.5%를 상회한다.
• 새로운 생물영상 데이터셋인 Cell에서, C-T 이동(합쳐진 C 및 T 도메인) 설정에서 MuLann은 89.3%의 정확도를 달성하여, 기준 모델인 NN(91.4%)과 DANN(87.0%)을 초월했다.
• T-unlab. 설정(레이블이 없는 T 도메인)에서 MuLann은 77.7%의 정확도를 기록하여 DANN(61.4%)과 MADA(56.2%)를 크게 앞서며, 클래스 불균형과 레이블이 없는 데이터 부족에 대한 강건성을 입증했다.
• t-SNE 시각화 결과, MuLann은 더 분리된 특징 공간과 도메인 불변 표현을 학습함을 보여주었으며, 한 도메인의 레이블이 없는 예제들이 다른 도메인의 동일한 클래스에 속한 레이블이 있는 예제들에 더 가까이 위치해 있었다.
• 제거 실험 결과, 제안된 손실 함수와 초모델 설정이 강건함을 확인하였으며, 특정 클래스에 대한 레이블이 없는 경우 성능 저하가 없었다.
• H-분산도를 사용한 이론적 경계는 최악의 도메인 리스크를 효과적으로 제어하여, 한 도메인의 성능 악화가 전체 모델 성능에 영향을 주지 않도록 보장했다.