[논문 리뷰] Disjoint Label Space Transfer Learning with Common Factorised Space

Xiaobin Chang, Yongxin Yang외 2명|arXiv (Cornell University)|2018. 12. 06.

Domain Adaptation and Few-Shot Learning참고 문헌 40인용 수 7

한 줄 요약

이 논문은 소스 및 타겟 도메인이 공통 레이블을 가지지 않는 이질 레이블 공간 전이 학습(DLSTL)을 위한 통합 전이 학습 프레임워크인 공통 인수 분해 공간 모델(CFSM)을 제안한다. 비감독적 인수 분해 손실과 새로운 상향식 그래프 라플라시안 정규화를 통해 공통의 저엔트로피 잠재 요인 공간을 학습함으로써, 감독 정보가 제한적이거나 전혀 없는 환경에서도 효과적인 지식 전이가 가능하다. 이는 사람 재식별 및 숫자 분류 벤치마크에서 기존 방법들을 능가한다.

ABSTRACT

In this paper, a unified approach is presented to transfer learning that addresses several source and target domain label-space and annotation assumptions with a single model. It is particularly effective in handling a challenging case, where source and target label-spaces are disjoint, and outperforms alternatives in both unsupervised and semi-supervised settings. The key ingredient is a common representation termed Common Factorised Space. It is shared between source and target domains, and trained with an unsupervised factorisation loss and a graph-based loss. With a wide range of experiments, we demonstrate the flexibility, relevance and efficacy of our method, both in the challenging cases with disjoint label spaces, and in the more conventional cases such as unsupervised domain adaptation, where the source and target domains share the same label-sets.

연구 동기 및 목표

• 소스 및 타겟 도메인이 공통 레이블이 없고 타겟에 대한 지도 정보가 제한적이거나 전혀 없는 어려운 비감독적 이질 레이블 공간 전이 학습(DLSTL) 문제를 해결하기 위해.
• 비감독 및 준감독 DLSTL을 동시에 효과적으로 다룰 수 있는 통합 모델을 개발하기 위해.
• 레이블 공간이 이질적이더라도 지식 전이가 가능한 공통의 구분력 있는 잠재 요인 공간을 발견하기 위해.
• 공통 인수 분해 공간에서 하위 수준의 특징까지 유사도 구조 일致성을 강제하여, 검색과 같은 후속 작업을 위한 특징 표현을 향상시키기 위해.

제안 방법

• 소스 및 타겟 도메인 간에 공유되는 공통 인수 분해 공간(CFS) 레이어를 도입하여 공통 잠재 표현 레이어로 기능한다.
• CFS에서 저엔트로피, 근사 이진 코드를 유도하기 위해 비감독적 인수 분해 손실을 적용함으로써 구분력 있는 잠재 요인의 발견을 촉진한다.
• 고도의 CFS에서 학습된 유사도 구조를 하위 수준의 특징이 유지하도록 정규화하는 새로운 그래프 라플라시안 기반 손실을 제안함으로써 상향식 지식 전이를 가능하게 한다.
• 재구성 손실을 정규화 수 Mittel로 사용하며, 소스 및 타겟 데이터를 함께 학습시켜 CFS를 도메인 간에 정렬한다.
• 공유된 CFS 레이어와 소스 및 타겟 도메인에 대해 별도의 특징 추출기로 구성된 이중 스트림 신경망 아키텍처를 사용한다.
• 모델은 소스 데이터에 대한 지도 손실, 비감독적 인수 분해 손실, 그래프 기반 정규화 손실의 조합을 통해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 공통 레이블이 없고 타겟에 대한 지도 정보가 제한된 비감독 및 준감독 DLSTL를 효과적으로 다룰 수 있는 통합 모델이 가능한가?
• RQ2 공통 레이블이나 타겟 지도 정보 없이도 구분력 있는 잠재 요인을 도메인 간에 발견하고 정렬할 수 있는가?
• RQ3 CFS 레이어에서 하위 수준의 특징까지 유사도 구조를 강제하면 검색 작업을 위한 특징 전이가 향상되는가?
• RQ4 제안된 비감독적 인수 분해 손실과 그래프 정규화가 표준 분포 정렬 및 오토인코더 기반 베이스라인을 능가하는가?
• RQ5 CFSM 프레임워크는 레이블 공간이 정렬된 표준 비감독 도메인 적응(UDA) 설정으로까지 일반화되는가?

주요 결과

• CFSM는 비감독적 사람 재식별 벤치마크에서 최신 기술(SOTA) 성능을 달성하여 Market-to-Duke 설정에서 49.8% R1 및 28.3% mAP를 기록했다.
• 제거 실험 결과 그래프 기반 손실이 크게 기여하는 것으로 확인되었으며, 그래프 손실을 제거한 CFSM−Graph는 R1 46.8% 및 mAP 27.6%에 그쳤다.
• 기존의 하향식 라플라시안 손실로 대체한 CFSM+ClassicGraph는 성능이 악화되어 R1 47.4%, mAP 26.1%를 기록하여 상향식 정규화의 효과를 입증했다.
• 시각화 결과 CFSM는 타겟 도메인에서 저엔트로피, 근사 이진 활성화를 유도함으로써 지도 없이도 구분력 있는 잠재 요인을 성공적으로 발견한 것으로 확인되었다.
• 모델은 타겟 애너테이션이 없음에도 불구하고 '빨간 옷', '여성/질감 있는/가방 지닌' 등의 의미적으로 일관된 공통 잠재 속성을 성공적으로 학습했다.
• 정규화가 소스 데이터에만 적용된 경우(소스+Regs)에도 성능이 약간 향상되어, 정규화가 적응과 무관하게 표현의 이동 가능성성을 향상시킨다는 점을 시사한다.